過学習

過学習は、モデルが訓練データ固有の偶然の変動や雑音まで学習し、訓練性能は高いのに未知データでの性能が低下する状態です。

■ 試験で押さえるポイント

• モデルの自由度がデータ量に対して大きい、訓練を続け過ぎる、特徴量が多い、データが少ない又は偏る場合に起きやすくなります。

• 訓練誤差が下がり続ける一方で検証誤差が上がり始める乖離は典型的な兆候で、訓練性能だけでは発見できません。

• 正則化、枝刈り、早期終了、ドロップアウト、特徴量削減、データ拡張、より多くの代表的データ、アンサンブル等で抑えます。

• モデルが単純過ぎて訓練・未知データの両方で性能が低い未学習とは異なり、過学習では訓練データへはよく適合します。

■ 選択肢での判断ポイント

訓練性能が高く検証・テスト性能が低い状態を選びます。対策はモデルや学習の複雑さを抑え、独立データで選択することです。

例: 深さ無制限の決定木が訓練正解率100%、検証正解率72%なら過学習を疑い、枝刈りや最大深さを交差検証で選びます。