汎化性能
更新日:
用語解説
汎化性能は、機械学習モデルが訓練に使用していない、同じ目的の未知データに対してどれだけ正確かつ安定して予測できるかを表す性能です。
■ 試験で押さえるポイント
データを訓練、検証、テストへ分け、学習は訓練、モデル・ハイパーパラメータ選択は検証、最終評価は未使用テストで行います。
交差検証は限られたデータを複数分割して検証値を平均し、性能推定のばらつきとモデル選択を評価する方法です。
分類では正解率、適合率、再現率、F値、AUC等、回帰ではMAE、RMSE等から、業務上の誤りコストに合う指標を選びます。
テストデータを繰り返し見て調整すると情報漏えいが起き、テストへ過適合します。運用時の分布変化も別途監視します。
■ 選択肢での判断ポイント
訓練性能ではなく未見データ上の性能です。検証データで選び、最後まで隔離したテストデータで評価する役割分担を押さえます。
例: 候補モデルを交差検証で選んだ後、一度だけ独立テスト集合で再現率を測ります。その結果を見て再調整するなら、新しいテスト集合が必要です。