言語モデル

言語モデルは、単語又はサブワード等のトークン列に確率を割り当て、前後の文脈から次トークンや欠落トークンを予測するモデルです。

■ 試験で押さえるポイント

• 自己回帰型では系列確率を各位置の条件付き確率の積$P(x_1,\ldots,x_n)=\prod_tP(x_t\mid x_1,\ldots,x_{t-1})$として表します。

• n-gramは直前の限られた語を数え、ニューラル言語モデルやTransformerはより長い文脈の分散表現を学びます。

• 性能指標のパープレキシティは平均負の対数尤度から求め、低いほど正解列へ高い確率を与えますが、事実性や有用性を直接保証しません。

• 翻訳、音声認識、要約、検索、文章生成の基礎になりますが、確率的に自然な続きを選ぶため、根拠のない内容も生成し得ます。

■ 選択肢での判断ポイント

トークン列の確率又は条件付き次トークン確率を学ぶ点を押さえます。知識データベースから事実だけを検索する仕組みではありません。

例: 「情報」の後に「処理」が出る条件付き確率を文脈から求め、候補分布から次トークンを選びます。最確率候補が常に事実とは限りません。