強化学習の構成要素と割引率

収益 G_t は将来報酬の割引和 G_t = R_{t+1} + γR_{t+2} + γ^2 R_{t+3} + ... で定義されます。割引率γは無限時間の累積報酬が発散するのを防ぐとともに、将来の不確実性を考慮します。 ア:正解です。γ=0で近視眼的(即時報酬のみ)、γ→1で長期的な報酬を評価するエージェントになります。 イ:誤りです。ランダムに行動を選択する確率はε-greedy法の「ε(イプシロン)」です。 ウ:誤りです。更新ステップ幅を制御するのは学習率 α です。 エ:誤りです。数学的な割引現在価値の計算パラメータであり、手数料ではありません。

強化学習における「割引率(γ:ガンマ、0 ≦ γ ≦ 1)」の役割に関する記述として、最も適切なものを1つ選択してください。

出典G検定オリジナル模擬試験
ア
将来得られる報酬の価値を現在価値へ割り引く割合であり、γが0に近いほど目先の即時報酬を重視し、1に近いほど遠い未来の報酬まで重視する。
イ
エージェントが行動を選択する際に、ランダムに行動する確率を直接指定するパラメータである。
ウ
学習率(α)と常に連動し、1ステップあたりのQ値の更新量を一定に抑制するために用いられる。
エ
エピソードが終了した際に、獲得した総得点から差し引かれる手数料の割合である。