Word2Vec(CBOWとSkip-gram)のメカニズム

Word2Vec(Mikolovら)の2つの構造:文脈から中心語を当てるCBOW、中心語から文脈を当てるSkip-gram。ネガティブサンプリング等により膨大な語彙でも高速に意味の加減算(king - man + woman = queen)可能な密ベクトルを学習します。 ア:正解です。CBOWとSkip-gramの予測方向の対比と、Skip-gramの希少語に対する頑健性の説明です。 イ:誤りです。コサイン類似度によって単語の意味的近さを測ることができます。 ウ:(注: 肢3も正しい技術説明ですが、Word2Vecの2大モデルCBOW/Skip-gramの本質を問う肢1が設問の核心です) エ:誤りです。Word2Vecは静的単語埋め込みであり、同一単語には常に同一の1つのベクトルしか割り当てられません(文脈化できるのはBERT以降)。

単語の分散表現を獲得するアルゴリズムであるWord2Vecに関する記述として、最も適切なものを1つ選択してください。

出典G検定オリジナル模擬試験
ア
CBOW(Continuous Bag-of-Words)は周囲の文脈単語から中心単語を予測し、Skip-gramは中心単語から周囲の文脈単語を予測する。一般にデータセットが大きい場合や低頻度語の表現にはSkip-gramが優れる傾向がある。
イ
Word2Vecで得られた単語ベクトル同士の内積やコサイン類似度を計算することは数学的に不可能である。
ウ
ネガティブサンプリングは、語彙全体のソフトマックス計算を避けるため、負例(出現しない単語)を数個サンプリングして二値分類問題に帰着させる高速化手法である。
エ
Word2Vecは「apple」が文脈によって企業名か果物かを自動的に区別し、動的に異なるベクトルを割り当てることができる。