TF-IDFによる単語の重要度重み付け数理

TF-IDF = TF(t, d) × log(N / DF(t))。多くの文書に出てくる語はIDFが小さく(0に近く)なり、特定の文書にだけ集中的に出現するキーワードが高いスコアを持ちます(BoWの重み付け)。 ア:正解です。文書内頻度と希少性の積により、文書の固有性を際立たせる語を特定します。 イ:誤りです。全文書に出現する語(DF=N)では log(N/N) = log(1) = 0 となり、IDFは最小(ゼロ)になります。 ウ:誤りです。Bag-of-Wordsの一種であり、語順や文脈は無視されます。 エ:誤りです。IDFは通常 log(全文書数 / 単語を含む文書数) で定義され、対数関数でスケールを圧縮します。

文書情報検索やテキスト特徴量化で用いられる「TF-IDF(Term Frequency - Inverse Document Frequency)」に関する記述として、最も適切なものを1つ選択してください。

出典G検定オリジナル模擬試験
ア
TF(単語頻度)はその文書内で頻出する単語ほど高くなり、IDF(逆文書頻度)は全文書集合の中でその単語が出現する文書数が少ない(希少な)単語ほど高くなるため、両者の積により「その文書を特徴づける代表的単語」を抽出できる。
イ
IDFは、すべての文書に万遍なく出現する一般的な単語(例: 「である」「これ」)に対して最大値を与える。
ウ
TF-IDFは単語の文脈や語順(構文情報)を完全に保持して表現できるベクトル化手法である。
エ
IDFの計算式には対数(log)が含まれないため、全文書数が増加すると値が線形に無限大へ発散する。