機械学習のデータセット
更新日:
用語解説
機械学習のデータセットは、モデルへ入力する特徴量、教師あり学習の正解ラベル、付随するメタデータ等をまとめた学習・評価用データです。
■ 試験で押さえるポイント
訓練データでモデルのパラメータを学習し、検証データでハイパーパラメータやモデルを選び、テストデータで最終的な汎化性能を評価します。
母集団と利用状況を代表するよう収集し、欠損、重複、誤ラベル、外れ値、クラス不均衡、偏りを確認します。
同一人物・同一時系列の関連データが分割をまたぐと情報漏えいになるため、グループ又は時系列単位で分割します。
個人情報、同意、利用目的、著作権、出所、データ版を管理し、前処理も訓練データだけで学習して評価データへ適用します。
■ 選択肢での判断ポイント
訓練で学習、検証で選択・調整、テストで最後に一度だけ性能評価します。テストデータを調整へ使うと評価漏えいになります。
例: 顧客単位で訓練・検証・テストへ分けず、同一顧客の履歴を別集合へ入れると、未知顧客への性能を過大評価する場合があります。