バッチ正規化(Batch Normalization)の仕組みと効果

Batch Normalizationは各層の入力分布の変動を抑制し、大きな学習率の使用を可能にします。推論時は学習中に指数移動平均で蓄積した全データの移動平均・移動分散を使用します。 ア:正解です。ミニバッチ単位の正規化と γ, β による表現力の回復を行います。 イ:誤りです。推論時はミニバッチ統計量ではなく、学習時に算出した固定の移動平均(running mean/var)を用います。 ウ:誤りです。極小バッチではバッチ統計量の推定誤差が大きくなり破綻します(Group Normなどが使われます)。 エ:誤りです。NLPでは系列長が可変であるため、サンプルごとに正規化するLayer Normalizationが主流です。

IoffeとSzegedyによって提案された「バッチ正規化(Batch Normalization)」に関する記述として、最も適切なものを1つ選択してください。

出典G検定オリジナル模擬試験
ア
ミニバッチごとに各チャンネルの平均と分散を計算して正規化した後、学習可能なスケーリング係数(γ)とシフト係数(β)を適用する。これにより学習の高速化、初期値依存性の低下、正則化効果が得られる。
イ
推論時にも、テストデータ全体のバッチ平均と分散をその場で毎回再計算して正規化を行う。
ウ
バッチサイズが 1 や 2 などの極小バッチのときに最も安定して高い精度を発揮する。
エ
自然言語処理の可変長テキスト処理において、Layer Normalizationよりも常に圧倒的に優れている。