勾配爆発への対処としての勾配クリッピング

勾配クリッピング(Clip by norm)は、||g|| > threshold の場合に g ← g · (threshold / ||g||) と更新することで、更新の方向性を維持しつつ過大なステップによる発散を防ぎます。 ア:正解です。ノルムのクリッピングにより、勾配の急激なスパイクによるパラメータ破壊を防ぎます。 イ:誤りです。ゼロの重みを削除するのはプルーニング(枝刈り)です。 ウ:誤りです。学習率ではなく勾配そのものの大きさを制限する手法です。 エ:誤りです。入力値の丸めではなく、バックプロパゲーション時の勾配値に対する処理です。

RNNの学習などで勾配爆発を防ぐために用いられる「勾配クリッピング(Gradient Clipping)」の説明として、最も適切なものを1つ選択してください。

出典G検定オリジナル模擬試験
ア
計算された全勾配ベクトルのL2ノルムが設定した閾値を超えた場合に、勾配ベクトルの方向を保ったままノルムが閾値以下になるようにスケーリングする。
イ
勾配がゼロになった重みパラメータをネットワークから即座に削除する。
ウ
学習率を各ステップで半分に強制的にクリップする手法である。
エ
入力データの画素値の最小値を0、最大値を255に丸める画像前処理のことである。