LLMのスケーリング則(Scaling Laws)

スケーリング則は、計算量・パラメータ数・データ量を拡大すると対数スケールで線形(べき乗則)に性能が向上することを示しました。特にChinchilla則では計算予算に対してモデル規模とデータ量を均等にスケーリングすべきと示されました。 ア:正解です。規模(スケール)の拡大と性能のべき乗則関係が近年の巨大モデル開発競争の理論的根拠となりました。 イ:誤りです。パラメータ数を増やす場合、適切な性能を出すには訓練データ量も相応に増やす必要があります。 ウ:誤りです。べき乗則に従って滑らかに損失が低下し続けます(創発的アビリティの発現も報告されています)。 エ:誤りです。モデル構造、データ規模、計算リソースに依存します。

KaplanらやChinchillaの研究で示された、大規模言語モデル(LLM)における「スケーリング則(Scaling Law)」に関する記述として、最も適切なものを1つ選択してください。

出典G検定オリジナル模擬試験
ア
モデルのパラメータ数、訓練データセットのトークン数、学習に投入した総計算量(FLOPs)の3つの要素を拡大すると、テスト損失(クロスエントロピー)がべき乗則(Power-law)に従って予測可能に低下し続ける。
イ
モデルのパラメータ数を2倍に増やしても、必要な訓練データ量は常に10分の1に削減できる。
ウ
計算資源を無限に増やしても、ある一定のパラメータ数を超えると性能が急激に悪化してゼロになる。
エ
モデルの性能向上は使用するプログラミング言語のバージョンのみに完全に依存する。