ドロップアウト(Dropout)の訓練時と推論時の挙動

ドロップアウトは訓練ステップごとにランダムな部分ネットワークをサンプリングして学習させることで、疑似的なアンサンブル学習効果をもたらします。推論時は期待値を合わせるためスケーリング(Inverted Dropout)します。 ア:正解です。訓練時のランダム無効化と、推論時の出力期待値の整合(全結合への切り替え)が正しい動作です。 イ:誤りです。通常の推論時(テスト時)は決定論的な出力を得るため全ユニットを使用します(MCドロップアウトを除く)。 ウ:誤りです。ドロップアウトは学習時の過学習抑制手法です。 エ:誤りです。ミニバッチごとに独立にランダムに選択されるため、次のステップでは再び有効化されます。

ニューラルネットワークの過学習を抑制する「ドロップアウト(Dropout)」に関する記述として、最も適切なものを1つ選択してください。

出典G検定オリジナル模擬試験
ア
訓練時は各ニューロンを確率 p でランダムに無効化(出力を0に)し、推論時は全ニューロンを使用する代わりに出力に (1-p) を乗じる(または訓練時に 1/(1-p) でスケーリングしておく)。
イ
訓練時も推論時も全く同じ確率 p で常にニューロンをランダムに無効化し続ける。
ウ
推論時のみランダムにニューロンを無効化することで、推論結果の多様性を高める。
エ
一度ドロップアウトされたニューロンは、以降の全エポックにわたって二度と復活することはない。