データクレンジング
更新日:
用語解説
データクレンジングは、利用目的に対して不正確、不完全、重複、不統一、矛盾しているデータを発見し、根拠のある規則で修正・標準化・除外して品質を高める一連の処理です。
■ 試験で押さえるポイント
データプロファイリングで欠損率、値の分布、形式、範囲、重複候補、参照整合性を測り、問題の種類と影響を把握します。
全角・半角、住所、日付、単位、コードを標準化し、表記が異なる同一人物等を照合して統合しますが、類似だけで同一と断定しません。
欠損値は補完、未知のまま保持、対象行の除外などを目的と根拠に応じて選び、平均値等で機械的に埋めて分析をゆがめないようにします。
■ 選択肢での判断ポイント
誤記・表記ゆれ・重複などを検出して品質を改善する処理です。データを圧縮する処理や、分析に不要というだけで根拠なく削除する処理ではありません。
例: 「東京都新宿区」「東京都 新宿区」「Tokyo-to Shinjuku」を住所辞書で標準化し、氏名・電話番号も照合して同一顧客候補を人が確認します。