価値ベース手法と方策ベース手法の使い分け

Q学習などの価値ベース手法は離散行動の最大値探索に向きますが、連続行動空間では max_a の探索が困難です。方策勾配法(Policy Gradient)は確率密度関数(正規分布の平均と分散等)を出力することで連続制御に極めて有効です。 ア:正解です。方策を直接関数近似器(NN等)でモデル化することで連続行動の出力を扱えます。 イ:誤りです。連続空間で max_a Q(s, a) を求めるには追加の最適化が必要で計算が困難になります。 ウ:誤りです。方策ベース手法は確率的方策 π(a|s) を自然に表現でき、混合戦略(確率的行動)も学習可能です。 エ:誤りです。説明が逆です。価値を学習するのが価値ベース、方策パラメータを直接更新するのが方策ベースです。

強化学習のアルゴリズム分類における「価値ベース手法」と「方策ベース手法」の特徴に関する記述として、最も適切なものを1つ選択してください。

出典G検定オリジナル模擬試験
ア
方策勾配法などの方策ベース手法は、方策をパラメータ化して直接最適化するため、ロボット制御のような連続値の行動空間(関節のトルクなど)を自然に扱える。
イ
Q学習などの価値ベース手法は、連続行動空間において全行動の中から最大値 max_a Q(s, a) を解析的に瞬時に計算できるため、連続制御で最も多用される。
ウ
方策ベース手法は方策が決定論的に固定されるため、じゃんけんのように確率的な方策が最適となるゲームには一切適用できない。
エ
価値ベース手法は価値関数を介さずに行動を直接出力し、方策ベース手法は行動価値のテーブルのみを更新する。