機械学習のデータセット
更新日:
用語解説
機械学習のデータセットは、モデルの学習と評価に使うデータの集まりで、入力となる特徴量と、教師あり学習の正解ラベルなどから成ります。
■ 試験で押さえるポイント
訓練データで学習し、検証データでモデルや設定を選び、テストデータで最後に性能を評価します。
欠損、重複、誤ったラベル、偏りがあると、モデルの性能や公平性が下がります。
同じ人のデータが訓練用とテスト用の両方に入ると、性能を高く見積もり過ぎてしまいます。
■ 選択肢での判断ポイント
テストデータは最終評価に一度だけ使います。調整に使うと評価が甘くなります。
例: 顧客ごとにデータを分けずに分割すると、知っている顧客で評価することになり、新しい顧客での性能を過大評価します。