ReLU関数の弱点である「Dying ReLU(負の入力で勾配が完全にゼロになりニューロンが永久に更新されなくなる現象)」を回避するために提案された活性化関数に関する記述として、最も適切なものを1つ選択してください。
出典G検定オリジナル模擬試験
ア
Leaky ReLUは入力が負の領域でもわずかな傾き(例: 0.01x)を持たせることで勾配が完全に死ぬのを防ぎ、GELUはTransformer等で標準的に採用される確率的正規分布に基づく滑らかな関数である。
イ
Leaky ReLUは負の領域で値を常にゼロにし、正の領域で値を一定値にクリッピングする関数である。
ウ
GELUは階段関数の一種であり、微分係数が全領域で未定義となる特徴を持つ。
エ
Swish関数はシグモイド関数とtanh関数の積として定義され、計算量が最小の線形関数である。