強化学習やLLMのRLHFで広く採用される方策勾配手法「PPO(Proximal Policy Optimization)」の利点として、最も適切なものを1つ選択してください。
出典G検定オリジナル模擬試験
ア
新旧の方策の比率をクリッピング(Clipped Surrogate Objective)することで、1回の更新で方策が急激に変化して崩壊するのを防ぎ、TRPOと同等の安定性を簡潔な実装で実現できる。
イ
学習率を無限大に設定しても発散しないことが数学的に証明されている唯一のアルゴリズムである。
ウ
行動空間が離散的なタスクにしか適用できず、連続空間では動作しない。
エ
価値関数の評価を一切行わないため、Actor-Critic構造をとることができない。