価値反復法と方策反復法の違い

動的計画法において、方策反復法は現在の方策の価値を収束するまで解く「方策評価」と方策を更新する「方策改善」を反復します。価値反復法はベルマン最適方程式の更新を直接反復して最適価値関数を求めます。 ア:正解です。方策評価と方策改善のサイクルにより厳密に最適方策へ到達します。 イ:誤りです。価値反復法も最終的に求まった最適価値関数から貪欲方策を導出することで方策を最適化します。 ウ:誤りです。ベルマン最適方程式を反復更新に用いるのは価値反復法です。 エ:誤りです。両手法とも動的計画法(DP)であり、環境の遷移確率・報酬関数が完全に既知であるモデルベース前提です。

モデルベース強化学習(動的計画法)における「方策反復法(Policy Iteration)」と「価値反復法(Value Iteration)」の比較として、最も適切なものを1つ選択してください。

出典G検定オリジナル模擬試験
ア
方策反復法は「方策評価(現在の価値を正確に求める)」と「方策改善(貪欲化)」の2つのステップを交互に繰り返して最適方策へ収束させる。
イ
価値反復法は方策の改善を行わず、あらかじめ固定されたランダム方策の価値を算出するだけで終了する。
ウ
方策反復法はベルマン最適方程式のみを用い、価値反復法はベルマン期待方程式のみを用いる。
エ
両手法ともに環境の遷移確率 P(s'|s, a) や報酬関数 R が未知であるモデルフリー環境で直接使用される。