データリーケージ(情報漏洩)の典型例と防止策

前処理を分割前に行うと、テストデータの平均や分散、頻度情報がモデルの学習に漏れ出し(リーケージ)、オフライン評価が不当に高くなります。必ず「分割してから訓練データのみでfitし、テストデータをtransform」します。 ア:正解です。前処理の一括適用によるテストデータ情報の漏洩は最も典型的なデータリーケージです。 イ:誤りです。時系列データにおいて未来のデータを漏洩させない正しい時系列分割(Time-series split)です。 ウ:誤りです。リーケージを防ぐ正しい交差検証の手順です。 エ:誤りです。過学習を防ぐための正規化手法であり、リーケージではありません。

機械学習モデルの開発において、検証時に見かけ上極めて高い精度が出ているにもかかわらず、本番環境で全く予測が当たらなくなる原因となる「データリーケージ(Data Leakage: 目的変数情報の漏洩)」の例として、最も適切なものを1つ選択してください。

出典G検定オリジナル模擬試験
ア
訓練データとテストデータに分割する前に全データセット一括で標準化(スケーリング)や欠損値補完を行ってしまい、テストデータの統計情報が訓練データに混入した。
イ
時系列予測において、過去のデータのみを訓練データとし、未来のデータをテストデータとして厳密に分離した。
ウ
交差検証の各フォールド内で独立に特徴量選択とモデルの学習を実行した。
エ
モデルの過学習を防ぐためにドロップアウトとL2正則化を併用した。