L1正則化とL2正則化の数理的相違

L1正則化(||w||_1)の等高線はひし形(角がある)のため座標軸上で最適解が接しやすく、不要な係数が0になります(スパース化)。L2正則化(||w||_2^2)は円形のため、重みを全体的に小さく抑えます(Weight Decay)。 ア:正解です。L1は特徴選択・スパース性、L2は過大パラメータの抑制・極値の平滑化に寄与します。 イ:誤りです。スパース解(重みを0にする)を導くのはL1正則化です。 ウ:誤りです。L1が絶対値和(L1ノルム)、L2が二乗和(L2ノルムの二乗)です。 エ:誤りです。ディープラーニングで一般的なWeight DecayはL2正則化に相当します。

損失関数にペナルティ項を加える正則化手法である「L1正則化(Lasso)」と「L2正則化(Ridge / Weight Decay)」の比較として、最も適切なものを1つ選択してください。

出典G検定オリジナル模擬試験
ア
L1正則化は重みの絶対値の和をペナルティとし、不要な重みを厳密にゼロにする(スパースな解を生成し特徴選択の効果がある)。L2正則化は重みの二乗和をペナルティとし、重み全体をゼロ近くへ滑らかに縮小させる。
イ
L1正則化は重みをゼロにすることは決してなく、L2正則化のみが重みを完全にゼロにする。
ウ
L1正則化は重みの二乗和を加え、L2正則化は重みの最大値のみを加える。
エ
ディープラーニングの重み減衰(Weight Decay)として標準的に使われるのはL1正則化である。