最尤推定

最尤推定は、観測データに対する尤度L(θ｜x)を最大にするパラメータθを推定値とする方法です。積を和へ変えて計算しやすくするため、同じ最大点をもつ対数尤度を最大化することが一般的です。

■ 試験で押さえるポイント

• 尤度又は対数尤度をθで微分して0となる候補を求め、二階微分、境界、複数解を調べて最大値であることを確認します。

• ベルヌーイ試行n回で成功k回なら対数尤度は$\text{定数}+k\log p+(n-k)\log(1-p)$で、微分から最尤推定値$\hat{p}=k/n$を得ます。

• 最尤推定量は一定条件下で一致性・漸近正規性などをもちますが、小標本で不偏とは限らず、解が存在しない又は一意でない場合もあります。

• 複雑なモデルは訓練データの尤度を高め過学習しやすいため、正則化、情報量規準、検証データなどでモデル選択を行います。

■ 選択肢での判断ポイント

観測データを固定し、尤度を最大化するパラメータを求めます。最尤推定値が真値と必ず一致する、又は常に不偏という説明は誤りです。

例: 10回中7回表なら、$\dfrac{d\log L}{dp}=\dfrac{7}{p}-\dfrac{3}{1-p}=0$より$7(1-p)=3p$、したがって$10p=7$、$\hat{p}=0.7$です。