AI 言語モデルのスケーリング則

AI言語モデルのスケーリング則は、モデルのパラメータ数、学習データのトークン数、学習計算量を適切に増やすと、検証損失などの性能指標が経験的にべき乗則に従って予測可能な傾向で改善するという経験則です。

■ 試験で押さえるポイント

• 例えば改善可能な損失を、モデル規模Nに対して$L(N)-L_\infty=AN^{-\alpha}$のように近似します。両対数グラフでは直線に近くなります。

• パラメータだけを増やせばよいのではなく、学習データ量Dと計算量Cとの釣合いが必要です。固定計算予算では、モデル規模と学習トークン数を適切に配分します。

• べき乗の指数αが正なら規模拡大で損失は下がりますが、逓減効果があります。Nを2倍にしたとき改善可能部分は$2^{-\alpha}$倍で、必ず半分になるわけではありません。

• 特定条件で観測した経験則であり、データ品質、分布、アーキテクチャ、評価課題、安全性、推論費用まで自動的に保証しません。外挿には検証が必要です。

■ 選択肢での判断ポイント

モデル規模・データ量・計算量の増加と損失のべき乗的改善、及び三者の釣合いを押さえます。「パラメータ数だけを無限に増やせば同じ割合で改善」は誤りです。

例: $L-L_\infty=0.8N^{-0.1}$なら、Nを2倍にすると改善可能な損失は$2^{-0.1}\approx0.933$倍です。約6.7%減であり、規模に対する限界効果は逓減します。