LLMのアライメント技術（RLHFとDPO）

基盤LLMは単なる次単語予測器に過ぎないため、指示応答SFTの後に人間の選好に従わせるRLHF（報酬モデル＋PPO）や、よりシンプルに選好確率比で解くDPO（Direct Preference Optimization）を用いて有用性・真実性・無害性（HHH）を高めます。 ア：正解です。人間の好みを反映するアライメントの2大潮流（RLHFと直接最適化DPO）の説明です。 イ：誤りです。アライメントの主要目的は有害出力の抑止（Safety / Harmlessness）であり、危険な要求を拒絶するように調教します。 ウ：誤りです。事前学習済みのモデルに対して、指示と回答のペアデータセットで追加学習（SFT）する軽量な工程です。 エ：誤りです。パラメータ数は増大せず、既存の重みを微調整します。

大規模言語モデルを有用で安全な応答を行うように人間の価値観に適合させる「アライメント技術」に関する記述として、最も適切なものを1つ選択してください。

出典G検定オリジナル模擬試験
ア
RLHF（人間のフィードバックによる強化学習）は、複数の生成回答に対する人間の選好データから報酬モデルを学習し、PPO等の強化学習でLLMの方策を最適化する。DPO（Direct Preference Optimization）は報酬モデルを介さずに直接好ましい回答を最適化する手法である。
イ
RLHFを適用すると、モデルは常にユーザーのいかなる犯罪的・違法な指示（爆発物の製造手順など）にも無条件に従うようになる。
ウ
指示チューニング（Instruction Tuning）は、モデルの事前学習を完全に白紙に戻して最初から再学習する処理である。
エ
アライメント調整を行うと、モデルのパラメータ数が自動的に100倍に膨張する。