誤差逆伝播法(バックプロパゲーション)と連鎖律

誤差逆伝播法は計算グラフ上の逆伝播(Reverse-mode automatic differentiation)であり、連鎖律によって一度のバックワードパスで全パラメータの勾配を順伝播と同等の計算量で求められます。 ア:正解です。連鎖律の活用により、数値微分のような莫大な計算をせず効率的に偏微分を算出します。 イ:誤りです。数値微分を1つずつ行うとパラメータ数に比例した莫大な順伝播が必要になります。 ウ:誤りです。逆伝播の計算量はパラメータ数に対して線形(O(N))です。 エ:誤りです。勾配を計算するためには活性化関数が至る所で(少なくとも概ね)微分可能である必要があります。

ニューラルネットワークの学習で重みの勾配を効率的に算出する「誤差逆伝播法」に関する記述として、最も適切なものを1つ選択してください。

出典G検定オリジナル模擬試験
ア
合成関数の微分の連鎖律(チェインルール)を利用し、出力層で生じた誤差の勾配を入力層に向かって逆方向に順次伝播させることで、各層の重みに関する偏微分を効率的に計算する。
イ
入力層から順方向に重みの偏微分を1つずつ独立に数値微分(微小変化Δwで割る)して計算する。
ウ
逆伝播の計算量はネットワーク全体のパラメータ数に対して指数関数的に増大する。
エ
活性化関数が連続で微分可能でなくても、誤差逆伝播法を用いれば完全に厳密な勾配を計算できる。