文書情報検索やテキスト特徴量化で用いられる「TF-IDF(Term Frequency - Inverse Document Frequency)」に関する記述として、最も適切なものを1つ選択してください。
出典G検定オリジナル模擬試験
ア
TF(単語頻度)はその文書内で頻出する単語ほど高くなり、IDF(逆文書頻度)は全文書集合の中でその単語が出現する文書数が少ない(希少な)単語ほど高くなるため、両者の積により「その文書を特徴づける代表的単語」を抽出できる。
イ
IDFは、すべての文書に万遍なく出現する一般的な単語(例: 「である」「これ」)に対して最大値を与える。
ウ
TF-IDFは単語の文脈や語順(構文情報)を完全に保持して表現できるベクトル化手法である。
エ
IDFの計算式には対数(log)が含まれないため、全文書数が増加すると値が線形に無限大へ発散する。