標準化

データ前処理における標準化は、各値からその変数の平均を引き、標準偏差で割るz得点変換などにより、単位・尺度の異なる特徴量を共通尺度へ変換する処理です。

■ 試験で押さえるポイント

• $z=(x-\text{平均})/\text{標準偏差}$で変換すると、対象データの平均は0、標準偏差は1になります。zの正負は平均より上か下かを表します。

• 距離や係数の大きさに尺度が影響するk-means、主成分分析、回帰などで、単位の大きい変数だけが支配することを防ぎます。

• 最小値0・最大値1へ変換する正規化とは用語を区別することがあります。z標準化は外れ値の影響を受け、標準偏差0の定数列には適用できません。

• 訓練データの平均・標準偏差を保存し、検証・本番データにも同じ値を使います。全データから計算すると情報漏えいになります。

■ 選択肢での判断ポイント

式$(\text{値}-\text{平均})/\text{標準偏差}$を使います。平均を引くだけ、又は最大値で割るだけの処理とは異なります。

例: 平均50、標準偏差10の変数で値40なら、$z=(40-50)/10=-1$です。平均より標準偏差1個分だけ小さいことを表します。