IT資格用語解説応用情報技術者試験・AI（Artificial Intelligence：人工知能）に関する技術基本情報技術者試験・AI（Artificial Intelligence：人工知能）に関する技術生成AIパスポート・ニューラルネットワークG検定・回帰結合層G検定・活性化関数G検定・誤差逆伝播法
勾配消失問題
更新日:
用語解説
勾配消失問題は、層の深いニューラルネットワークで、誤差をさかのぼって伝えるうちに勾配が極端に小さくなり、入力に近い層がほとんど学習されなくなる問題です。
■ 試験で押さえるポイント
1より小さい値を何度も掛けるため、勾配が小さくなります。
シグモイド関数は、勾配消失を起こしやすい活性化関数です。
ReLU関数の利用や、残差接続などで緩和します。
■ 選択肢での判断ポイント
入力に近い層ほど学習が進まない現象です。ReLUなどが対策です。