近接方策最適化(PPO: Proximal Policy Optimization)

TRPOの複雑な制約付き最適化(自然勾配・ヘッシアン計算)を、クリッピング関数 min(r_t(θ)Â_t, clip(r_t(θ), 1-ε, 1+ε)Â_t) で代行し、実装が容易で極めて安定した学習を可能にしたのがPPOです。 ア:正解です。方策比率のクリップによる急激な方策崩壊の防止がPPOの核心です。 イ:誤りです。過度な学習率は発散を招きます。 ウ:誤りです。連続行動制御(ロボット工学等)でも標準的に利用されます。 エ:誤りです。通常Actor(方策)とCritic(価値関数)を併用するActor-Critic構成で学習します。

強化学習やLLMのRLHFで広く採用される方策勾配手法「PPO(Proximal Policy Optimization)」の利点として、最も適切なものを1つ選択してください。

出典G検定オリジナル模擬試験
ア
新旧の方策の比率をクリッピング(Clipped Surrogate Objective)することで、1回の更新で方策が急激に変化して崩壊するのを防ぎ、TRPOと同等の安定性を簡潔な実装で実現できる。
イ
学習率を無限大に設定しても発散しないことが数学的に証明されている唯一のアルゴリズムである。
ウ
行動空間が離散的なタスクにしか適用できず、連続空間では動作しない。
エ
価値関数の評価を一切行わないため、Actor-Critic構造をとることができない。