バックプロパゲーション

バックプロパゲーション（誤差逆伝播法）は、ニューラルネットワークの損失を出力側から入力側へ連鎖律で伝え、各重み・バイアスに対する勾配を効率的に計算する方法です。

■ 試験で押さえるポイント

• 順方向計算で各層の中間値と損失を求め、逆方向計算で後段の微分と局所微分を掛け合わせて勾配を得ます。

• 逆伝播は勾配を計算するアルゴリズムで、勾配を使ってパラメータを更新するSGDやAdam等の最適化アルゴリズムとは役割が異なります。

• 重みwの勾配が$\partial L/\partial w$なら、単純な勾配降下ではwを$w-\eta\,\partial L/\partial w$へ更新し、損失を下げる方向へ進みます。

• 深い層で微分を掛け続けるため勾配消失・爆発が起き得ます。数値微分による勾配チェックは実装確認に使えます。

■ 選択肢での判断ポイント

連鎖律による勾配計算と、勾配降下による重み更新を分けます。出力誤差そのものを各層へ同じ値で配る方式ではありません。

例: $w=2$、学習率0.1、損失勾配$\partial L/\partial w=3$なら、更新後は$2-0.1\times3=1.7$です。逆伝播が3を求め、最適化処理が更新します。