シグモイド関数とReLU関数の勾配特性比較

シグモイド関数の導関数の最大値は0.25であり、層を重ねるごとに勾配が指数関数的に減衰して学習が進まなくなる勾配消失が生じます。ReLU（f(x)=max(0, x)）は正の領域で微分が常に1であるため、深層化を可能にしました。 ア：正解です。正の領域で勾配が減衰しない性質が、ディープラーニングを多層化できた最大の要因の1つです。 イ：誤りです。計算負荷が低いのはReLU（比較と代入のみ）であり、シグモイド関数はexp計算を要するため重いです。 ウ：誤りです。ReLUの出力は [0, ∞) であり、ゼロ中心化や有界性はありません。 エ：誤りです。シグモイドの微分は常に0以上0.25以下であり爆発しません。ReLUの負の領域は0です。

深層ニューラルネットワークの隠れ層における活性化関数として、シグモイド関数ではなくReLU（Rectified Linear Unit）が広く採用される主たる理由として、最も適切なものを1つ選択してください。

出典G検定オリジナル模擬試験
ア
シグモイド関数は入力の絶対値が大きい領域で導関数が0に近づくため多層化すると勾配消失を起こすが、ReLUは入力が正の領域で導関数が常に1であるため勾配が消失しにくい。
イ
シグモイド関数は微分の計算が非常に単純であるのに対し、ReLUは複雑な指数関数演算を含むため計算負荷が高い。
ウ
ReLU関数は出力が常に -1 から 1 の範囲に対称に正規化されるため、内部共変量シフトが完全に解消される。
エ
シグモイド関数は入力が負の領域で勾配爆発を起こしやすいが、ReLUは入力が負の領域で値が無限大に発散するため安定する。