ニューラルネットワーク

ニューラルネットワークは、入力の重み付き和へ活性化関数を適用する計算単位を層状又はグラフ状に接続し、データから入出力関係を学習するモデルです。

■ 試験で押さえるポイント

• 各結合の重みと各ユニットのバイアスが学習対象で、入力から順方向計算して予測し、損失関数で正解との差を数値化します。

• 誤差逆伝播で損失の各パラメータに対する勾配を求め、勾配降下法等の最適化アルゴリズムで重みを更新します。

• 非線形活性化により複雑な関係を表せます。線形変換だけを何層重ねても全体は一つの線形変換にまとめられます。

■ 選択肢での判断ポイント

重み付き和、活性化関数、損失、逆伝播、最適化の役割を順に識別します。ニューラルネットワークは一つの特定構造だけを指しません。

例: 入力x1、x2に対し$z=w_1x_1+w_2x_2+b$を計算し、活性化関数fで出力f(z)を得ます。学習では損失が減る方向へw1、w2、bを更新します。