LLMの構築プロセス（事前学習・SFT・RLHF）

現代のLLMは、①大量のテキストからの「事前学習（Pre-training）」で広範な知識を獲得し、②指示に従う形式を学ぶ「SFT（Supervised Fine-Tuning）」、③人間の価値観・安全性・好みに整合させる「RLHF（Reinforcement Learning from Human Feedback）」の3段階を経て実用化されます。 ア：誤りです。Q&A形式で指示への応答を学ぶのはSFT（指示調整）であり、事前学習はラベルなしテキストから次単語予測を学ぶ大規模な初期学習です。 イ：誤りです。SFTだけでは有害出力の抑制や人間の微妙な好みの反映に限界があるため、RLHFやDPO等のアライメント工程が不可欠です。 ウ：正解です。事前学習、SFT、RLHFというLLM構築の標準的なパイプラインを正確に説明しています。 エ：誤りです。RLHFは文法や知識をゼロから学ぶものではなく、すでに知識を持ったモデルの振る舞いを人間の意図に沿わせる（アライメントする）ための最終調整です。

現代の大規模言語モデル（LLM）が開発・公開されるまでの一般的な構築プロセスに関する記述として、最も適切なものを1つ選択してください。

出典生成AIパスポートオリジナル模擬試験
ア
事前学習（Pre-training）とは、人間の指示に従って丁寧に対話するように最初からQ&A形式の高品質な会話データのみを用いて微調整し、有害な出力を抑制する最終工程のことである。
イ
SFT（教師ありファインチューニング）を行えば、モデルの安全性や人間の好みに合わせた最終調整はすべて完了するため、強化学習（RLHF等）によるアライメント工程は技術的に不要である。
ウ
膨大なWebテキスト等から言語の基本構造を学ぶ「事前学習」、対話や指示応答形式のデータで調整する「SFT（指示調整）」、そして人間のフィードバックに基づいて安全性や好ましさを高める「RLHF（人間のフィードバックによる強化学習）」などの段階を経て構築される。
エ
RLHF（人間のフィードバックによる強化学習）は、モデルの基本的な文法能力や百科事典的な語彙知識をゼロから習得させるためのプロセスであり、ラベルなしデータの事前学習を経ずに行われる。