勾配消失問題と勾配爆発問題のメカニズム

逆伝播では各層の局所的な勾配の積を計算するため、層が深くなるほど微分の値が1より小さければゼロに、1より大きければ無限大に発散する問題が生じます。 ア:正解です。微分の連鎖積が連鎖の長さ(深さ・時間長)に対して指数関数的に減衰または増大する現象です。 イ:誤りです。長い系列を扱うRNN(BPTT)では特に深刻な勾配消失・爆発が発生します。 ウ:誤りです。勾配爆発時に学習率を上げると重みが一瞬でNaN(非数)に発散します。対処法は勾配クリッピングや正規化です。 エ:误りです。バッチサイズとは無関係に、多層ネットワークの構造に起因して発生します。

深層ニューラルネットワークにおける「勾配消失問題」および「勾配爆発問題」に関する記述として、最も適切なものを1つ選択してください。

出典G検定オリジナル模擬試験
ア
層を深く重ねるにつれて、誤差逆伝播で掛け合わされるヤコビ行列の固有値や活性化関数の導関数の積が1より小さいと勾配がゼロに収束し(勾配消失)、1より大きいと指数関数的に増大する(勾配爆発)。
イ
勾配消失はRNNでは絶対に発生せず、CNNのみに特有の現象である。
ウ
勾配爆発が発生した場合は、学習率を100倍以上に引き上げることで安全に対処できる。
エ
バッチサイズを極端に小さく(1に)設定するだけで、勾配消失問題は物理的に完全に消滅する。