マルコフ決定過程(MDP)とマルコフ性

マルコフ性とは「未来は過去の履歴全体ではなく、現在の状態のみを通じて決まる(P(s_{t+1}|s_t, a_t, s_{t-1}, ...) = P(s_{t+1}|s_t, a_t))」という性質です。 ア:正解です。「現在」が分かっていれば過去の経路は未来の予測に不要であるという無記憶性(memoryless property)です。 イ:誤りです。過去の全履歴に依存しないのがマルコフ性です。 ウ:誤りです。状態数が有限であることや1ステップ遷移可能性とは無関係です。 エ:誤りです。Q(s, a)とV(s)は異なる定義(行動を指定するか方策で期待値を取るか)の価値関数です。

強化学習の数理的基礎である「マルコフ性(Markov property)」の定義として、最も適切なものを1つ選択してください。

出典G検定オリジナル模擬試験
ア
次状態の確率分布や得られる報酬が、過去のすべての状態遷移の履歴には依存せず、直前の現在の状態と行動のみに依存して決まる性質。
イ
エージェントの行動選択確率が、過去に訪れたすべての状態の訪問回数に厳密に比例して決定される性質。
ウ
環境の状態数が有限個であり、どの状態からもゴール状態へ1ステップで必ず遷移できる性質。
エ
行動価値関数 Q(s, a) と状態価値関数 V(s) の値が常に完全に一致する性質。