ソフトマックス関数の数理と温度パラメータ

知識蒸留(Distillation)や生成AIのサンプリングで使われる温度Tは、確率分布の柔らかさを調整します。高温度では多様でフラットな確率分布となり、低温度では確率最大の項目が強調されます。 ア:正解です。Tを上げるとエントロピーが増大して平坦になり、Tを下げると最大値への集中が進みます。 イ:誤りです。1クラスに集中するのはTを低く(0に近づけた)したときです。 ウ:誤りです。温度パラメータはロジットをスケーリングするパラメータであり、学習率とは異なります。 エ:誤りです。確率ベクトルの総和は常に 1(100%)です。

ソフトマックス関数 y_k = exp(z_k / T) / Σ_j exp(z_j / T) における「温度パラメータ T(T > 0)」の効果に関する記述として、最も適切なものを1つ選択してください。

出典G検定オリジナル模擬試験
ア
温度 T を高くする(T > 1)ほど確率分布は平滑化(より均一に近づく)され、温度 T を低くする(T → 0)ほど最大値を持つクラスの確率が1に近づく尖った分布(アルグマックスに近い分布)になる。
イ
温度 T を高くするほど特定の1クラスの確率のみが急激に1.0に固定される。
ウ
温度 T は学習率と同じ役割を果たし、損失関数の勾配の大きさを直接定数倍する。
エ
温度 T をどのような値に設定しても、出力される確率ベクトルの総和は常に 100 に正規化される。