外れ値・異常値・欠損値の処理
更新日:
用語解説
外れ値・異常値・欠損値の処理は、他の観測から大きく離れた値、文脈上の異常、値が記録されていない状態を検出し、発生原因と分析目的に応じて修正、除外、補完、別扱いする前処理です。
■ 試験で押さえるポイント
外れ値は統計的に離れた値、異常値は不正・故障など正常状態と異なる値、欠損値は未観測です。正当な高額取引を誤記録として消さないよう原因を確認します。
範囲・論理検査、箱ひげ図、z得点、時系列変化などで検出し、原票照合、センサ状態、収集手順から入力誤りか実現象かを判断します。
除外、上限下限処理、変換、頑健な手法、平均・中央値・モデルによる補完、欠損カテゴリ化などを選び、処理理由と影響を記録します。
欠損の起こり方に偏りがあると単純補完で推定が歪みます。学習・評価分割後に訓練データだけで補完値を学び、漏えいを防ぎます。
■ 選択肢での判断ポイント
全て削除又は平均で置換するのではなく、原因と目的で処理を選びます。外れ値が分析対象の不正検知では、除外してはいけません。
例: 年齢300は入力誤りと確認して修正できますが、購買額100万円は正当な優良顧客かもしれません。未回答年齢は中央値補完し、欠損フラグも残す方法があります。