次トークン予測とサンプリング設定(Temperature)

LLMは自己回帰的(Autoregressive)に次の1トークンを確率予測して文章を紡ぎます。Temperature(温度パラメータ)を下げると確率最大のトークンが選ばれやすくなり回答が安定・決定論的になり、上げると確率分布が平滑化されて創造的・多様な出力になります。 ア:正解です。次トークン予測の基本原理と、Temperatureパラメータによる出力の多様性・決定性の制御効果を正確に説明しています。 イ:誤りです。Temperatureを高くすると出力のランダム性・多様性が増し、低くするほど決定論的(確実性の高いトークン選択)になります(逆です)。 ウ:誤りです。固定された上位k個を選択するのは「Top-kサンプリング」です。Top-pは累積確率がp(例: 0.9)に達するまでのトークン群からサンプリングします。 エ:誤りです。現在普及している主要なLLMの多くは、依然としてトークンを1つずつ順番に予測して生成する自己回帰モデルです。

LLMのテキスト生成アルゴリズムおよび生成時のパラメータ設定に関する記述として、最も適切なものを1つ選択してください。

出典生成AIパスポートオリジナル模擬試験
ア
LLMは直前の文脈から「次に来る確率が最も高いトークン」の確率分布を計算して出力しており、Temperatureパラメータを低く設定すると確実性の高いトークンが選ばれやすくなり(決定論的)、高く設定すると多様で創造的な出力が得られやすくなる。
イ
Temperatureパラメータを最大値に近づけるほど、モデルの出力は常に単一の固定された決定論的な回答となり、プロンプトを何回再送信しても全く同一のテキストのみが出力されるようになる。
ウ
Top-pサンプリング(Nucleus Sampling)とは、確率の高い順にソートされたトークン候補の中から、累積確率とは無関係に常に固定で上位3個のトークンだけを機械的に抽出する手法である。
エ
現代の生成AIは文章全体の論理的整合性を最初の1ステップで一度に一括生成してから出力するため、逐次的に確率計算を繰り返す次トークン予測アルゴリズムは現在使用されていない。