Q学習とSARSAの決定的な相違(Off-policy vs On-policy)

Q学習の更新式は Q(s, a) ← Q(s, a) + α [R + γ max_a' Q(s', a') - Q(s, a)] となり、行動方針とは独立に最適価値を学習します(Off-policy)。SARSAは (s, a, r, s', a') の組を用いて実際に採用した行動で更新します(On-policy)。 ア:正解です。更新目標に最大値を用いるか、実際の方策に従った行動価値を用いるかが決定的な違いです。 イ:誤りです。実際の次行動 a' を用いるのはSARSAです。 ウ:誤りです。両手法ともに遷移確率を必要としないモデルフリー手法です。 エ:誤りです。探索中の安全性を考慮した堅実な方策を学習するのはSARSA(崖歩き問題などで安全策を取る)です。

代表的なTD学習アルゴリズムである「Q学習」と「SARSA」の違いに関する記述として、最も適切なものを1つ選択してください。

出典G検定オリジナル模擬試験
ア
Q学習は次状態での最善行動の最大価値 max_a' Q(s', a') を用いて更新する方策オフ型(Off-policy)であり、SARSAは実際に選択された次行動 a' の価値 Q(s', a') を用いて更新する方策オン型(On-policy)である。
イ
Q学習は実際にエージェントがとった行動 a' の価値のみを用いて更新し、SARSAはいかなる行動の価値も考慮しない。
ウ
Q学習は環境の遷移確率モデルが必須のモデルベース手法であり、SARSAはモデルフリー手法である。
エ
SARSAは探索行動による崖からの転落などのリスクを全く考慮せず、Q学習よりも危険な経路を好んで学習する。