各種正規化手法(Batch, Layer, Instance, Group)の正規化軸の違い

Layer Normは各サンプル独立に (C, H, W) で正規化するためバッチサイズに依存せずRNNやTransformerに最適です。Instance Normは各サンプルの各チャンネル (H, W) ごと、Group Normはチャンネルをグループに分割して正規化します。 ア:正解です。Layer Normは個々のサンプル内で完結して正規化するため、バッチサイズ1でも安定して動作します。 イ:誤りです。Instance Normは1サンプルの各1チャンネル (H, W) ごとに正規化します(スタイル変換等で多用)。 ウ:誤りです。Group Normは各サンプル内でチャンネルをグループ化して正規化し、N方向には跨ぎません。 エ:誤りです。Batch Normはバッチ方向 N と空間方向 (H, W) をまとめてチャンネルごとに正規化します。

画像テンソル(バッチ N、チャンネル C、高さ H、幅 W)に対する各種正規化手法の「正規化を行う軸の範囲」に関する記述として、最も適切なものを1つ選択してください。

出典G検定オリジナル模擬試験
ア
Layer Normalizationは「1つのサンプル内において、全チャンネルと空間方向(C, H, W)」にわたって平均と分散を計算するため、バッチサイズ N に依存しない。
イ
Instance Normalizationは「全バッチ N と全チャンネル C」を一括して正規化する。
ウ
Group Normalizationは「バッチサイズ N」の方向に沿ってのみ平均を計算する。
エ
Batch Normalizationは「1つのサンプル内の空間方向(H, W)」のみで正規化し、他のサンプルは一切参照しない。