GPTシリーズの自己回帰型アーキテクチャと因果的マスキング

GPTはデコーダブロックを積み重ねたモデルで、下三角行列の因果マスク(Causal Attention Mask)により自分より未来の単語を見ないようにして、P(w_t | w_1, ..., w_{t-1}) を次々に生成します。 ア:正解です。自己回帰モデルと因果的マスクによる一方向生成がGPTのアーキテクチャ基盤です。 イ:誤りです。通常の読字順序(左から右)で次トークンを予測します。 ウ:誤りです。直前に出力したトークンを入力に追加しながら1トークンずつ逐次生成(Auto-regressive generation)します。 エ:誤りです。Web等の大量の生テキストから次の単語を予測する自己教師あり学習(教師なし事前学習)を行います。

OpenAIが開発したGPT(Generative Pre-trained Transformer)シリーズの言語生成メカニズムに関する記述として、最も適切なものを1つ選択してください。

出典G検定オリジナル模擬試験
ア
Transformerのデコーダ構造をベースとし、過去の先行トークン列のみから次のトークンの出現確率を予測する自己回帰(Autoregressive)言語モデルであり、未来のトークンへの情報漏洩を防ぐため因果的マスク(Causal Mask)を適用している。
イ
文末のトークンから文頭のトークンに向かって逆方向にのみ文章を生成する特殊モデルである。
ウ
文章全体を一度に一括出力するため、トークンごとの逐次推論ステップは一切存在しない。
エ
事前学習において人手で作成した100万件の正解ラベル付きデータセットが必須である。