ミニバッチ勾配降下法とバッチサイズの影響

適切なミニバッチサイズによる勾配のノイズ(ランダム性)は、鞍点や鋭い局所解から抜け出し、汎化性能の高い平坦な解(Flat Minima)を見つける助けになります。 ア:正解です。大規模バッチ学習(Large Batch Training)では汎化性能の低下(Generalization Gap)が課題となります。 イ:誤りです。バッチサイズ1(純粋なSGD)はサンプルのノイズを直接受けるため、勾配のばらつき(分散)が最大になります。 ウ:誤りです。フルバッチは厳密な勾配に沿うため、鞍点(勾配がゼロになる平坦な点)で停滞しやすくなります。 エ:誤りです。バッチサイズとエポック数は独立したハイパーパラメータです。

ミニバッチ勾配降下法において、バッチサイズ(Batch Size)を変更した場合の影響に関する記述として、最も適切なものを1つ選択してください。

出典G検定オリジナル模擬試験
ア
バッチサイズを極端に大きくするとGPUの並列計算効率は向上しやすいが、平坦な局所解ではなく鋭い局所解(Sharp Minima)にトラップされやすく汎化性能が低下する傾向がある。
イ
バッチサイズを 1 に設定するオンライン学習では、勾配のばらつきが完全にゼロになり最も直線的に大域的最適解へ収束する。
ウ
全データ(フルバッチ)を用いた勾配降下法は、鞍点(サドルポイント)からの脱出が最も容易である。
エ
バッチサイズはエポック数と常に同じ数値に設定しなければならない。