ReLUの派生活性化関数(Leaky ReLU, GELU, Swish)

Leaky ReLUは負の領域に微小な傾き α を与えます。近年のBERTやGPTなどのTransformer系では、正規分布の累積分布関数を用いた滑らかな非線形関数であるGELU(Gaussian Error Linear Unit)が広く使われています。 ア:正解です。Dying ReLUへの対策としてLeaky ReLUやPReLU、ELU、GELUなどが発展しました。 イ:誤りです。負の領域でゼロになるのは通常のReLUです。 ウ:誤りです。GELUは連続かつ滑らかに微分可能な関数です。 エ:誤りです。Swishは f(x) = x · σ(βx) で定義される自己ゲーティング関数です。

ReLU関数の弱点である「Dying ReLU(負の入力で勾配が完全にゼロになりニューロンが永久に更新されなくなる現象)」を回避するために提案された活性化関数に関する記述として、最も適切なものを1つ選択してください。

出典G検定オリジナル模擬試験
ア
Leaky ReLUは入力が負の領域でもわずかな傾き(例: 0.01x)を持たせることで勾配が完全に死ぬのを防ぎ、GELUはTransformer等で標準的に採用される確率的正規分布に基づく滑らかな関数である。
イ
Leaky ReLUは負の領域で値を常にゼロにし、正の領域で値を一定値にクリッピングする関数である。
ウ
GELUは階段関数の一種であり、微分係数が全領域で未定義となる特徴を持つ。
エ
Swish関数はシグモイド関数とtanh関数の積として定義され、計算量が最小の線形関数である。