重みの初期化手法(Xavier初期化とHe初期化)

重み初期値が不適切だと各層の出力分布が偏り勾配消失等を起こします。線形近似に基づくXavierはtanh等に、負側が0になるReLUには分散を2倍にしたHe初期化(分散 2/n)が標準です。 ア:正解です。活性化関数の非線形特性に合わせて、層を通過しても分散が一定に保たれるよう設計されています。 イ:誤りです。全重みを0で初期化すると、全ニューロンが全く同じ更新値を受け取り対称性が崩れず学習できません。 ウ:誤りです。分散の設定が逆です。Xavierが 1/n(または 2/(n_in + n_out))、Heが 2/n です。 エ:誤りです。過大な乱数初期化は即座に勾配消失・爆発を招きます。

ディープニューラルネットワークにおける重みの初期値設定手法に関する記述として、最も適切なものを1つ選択してください。

出典G検定オリジナル模擬試験
ア
Xavier(Glorot)初期化はシグモイド関数やtanh関数などのS字型関数に適しており、He初期化はReLU関数などのランプ型活性化関数に適している。
イ
すべての重みパラメータを 0.0 で均等に初期化することが、最も対称性を保った効率的な初期化法である。
ウ
He初期化は分散を 1/n(nは前層のノード数)とし、Xavier初期化は分散を 2/n とする。
エ
活性化関数として何を用いているかに関わらず、すべての層の重みを一様乱数 [-100, 100] で初期化すべきである。