損失関数の役割と交差エントロピー

交差エントロピー H(p, q) = -Σ p(x) log q(x) の最小化は、真の分布 p と予測分布 q のKLダイバージェンス D_{KL}(p||q) の最小化、すなわち最尤推定(負の対数尤度の最小化)と数学的に完全に一致します。 ア:正解です。真の分布と予測分布の距離(乖離度)を最小化する情報理論的裏付けを持ちます。 イ:誤りです。絶対値和ではなく負の対数尤度 -log(y_k) を用います。 ウ:誤りです。分類タスクにおいてソフトマックスと交差エントロピーを組み合わせると勾配が (y - t) と非常にシンプルになり、大きく外れているほど大きな勾配で迅速に修正されます。 エ:誤りです。損失がゼロになるのは正解クラスの予測確率が完璧に 1.0 になったときです。

分類問題で用いられる交差エントロピー誤差(Cross Entropy Loss)の数理的意義に関する記述として、最も適切なものを1つ選択してください。

出典G検定オリジナル模擬試験
ア
正解ラベルの真の確率分布と、モデルが予測した確率分布との間のカルバック・ライブラー情報量(KL情報量)を最小化することと等価である。
イ
予測確率と正解ラベルの差の絶対値を単純に足し合わせたものであり、常に正解ラベルから0.5を差し引いて計算する。
ウ
平均二乗誤差に比べて、予測が大きく外れているときの勾配が極端に小さくなるため、誤った初期値からの脱出が困難である。
エ
損失値がゼロになるのは、全クラスの予測確率が一様に0.1ずつ均等に分散したときである。