活性化関数

活性化関数は、ニューラルネットワークのユニットで重み付き和を変換し、出力値と非線形性を与える関数です。

■ 試験で押さえるポイント

• ReLUはmax(0, x)で計算が軽く深層の隠れ層に広く使われますが、負領域で常に0となりユニットが更新されにくい場合があります。

• シグモイドは0～1へ写像して二値確率出力に適し、tanhは−1～1ですが、いずれも飽和領域では勾配が小さくなります。

• 多クラス分類の出力層ではソフトマックスで各クラスの値を総和1の確率へ変換し、回帰出力では線形関数を使う場合があります。

• 全層を線形関数にすると線形変換の合成に過ぎないため、隠れ層の非線形活性化が複雑な関係の学習に不可欠です。

■ 選択肢での判断ポイント

関数の出力範囲、微分特性、隠れ層・出力層の用途を対応付けます。活性化関数と損失関数を混同しません。

例: ReLUでは入力−2の出力は0、入力3の出力は3です。シグモイドでは入力0の出力が$1/(1+1)=0.5$となります。