勾配消失問題
更新日:
用語解説
勾配消失問題は、深いニューラルネットワークや長い系列で逆伝播する勾配が層を遡るほど極端に小さくなり、前段のパラメータがほとんど学習されなくなる問題です。
■ 試験で押さえるポイント
連鎖律で多数の微分と重みを掛ける際、絶対値1未満の値が続くと積が指数的に小さくなります。
シグモイドやtanhは入力の絶対値が大きい飽和領域で微分が小さく、深いネットワークでは勾配消失を招きやすくなります。
ReLU系活性化、適切な重み初期化、正規化、残差接続により深層モデルで緩和し、系列モデルではLSTMやGRUのゲート構造を用います。
勾配が極端に大きくなる勾配爆発とは逆の現象です。層ごとの勾配ノルムや学習曲線を監視して原因を診断します。
■ 選択肢での判断ポイント
前段ほど勾配が小さく更新されない現象です。ReLU、残差接続、LSTM等を対策として対応付けます。
例: 各層で勾配へ0.5を掛ける処理が10層続くと、前段へ届く倍率はとなり、更新量が非常に小さくなります。