マルコフ過程

マルコフ過程は、現在の状態が与えられたとき、将来の状態の条件付き確率が、それ以前の履歴に依存しないマルコフ性をもつ確率過程です。離散時刻・離散状態の場合はマルコフ連鎖と呼びます。

■ 試験で押さえるポイント

• 状態iから次時刻に状態jへ移る確率pijを推移確率とし、推移確率行列Pの各行の和は1です。状態の並びと行・列の向きを確認します。

• 初期状態の確率を行ベクトルπ0とすれば、1段階後は$\boldsymbol{\pi}_1=\boldsymbol{\pi}_0P$、n段階後は$\boldsymbol{\pi}_n=\boldsymbol{\pi}_0P^n$です。複数経路の確率は積を求めて足します。

• 長期的に変わらない定常分布πが存在する場合は$\boldsymbol{\pi}=\boldsymbol{\pi}P$かつ成分和1を満たします。必ず一意に収束するとは限らず、既約性や周期性などに依存します。

• マルコフ性は『未来が現在だけで確定する』意味ではなく、未来の確率分布を現在だけで定められるという意味です。状態設計が粗いと性質を満たしません。

■ 選択肢での判断ポイント

二段階後は単に同じ確率を掛けるのではなく、目的状態へ至る全経路の積を合計します。推移行列の行和1とPの累乗も頻出です。

例: 晴→晴0.7、晴→雨0.3、雨→晴0.4、雨→雨0.6なら、今日が晴れで2日後が雨の確率は$0.7\times0.3+0.3\times0.6=0.39$です。