ResNet(Residual Network)とスキップ結合の原理

従来の深層網では層を深くすると最適化が困難(Degradation問題)になりました。スキップ結合 y = F(x) + x は逆伝播時の勾配に「+1」の項をもたらし、勾配消失を防いで超深層化を実現しました。 ア:正解です。恒等写像(Identity Mapping)の近傍を学習する残差学習により、100層を超える深層化を達成しました。 イ:誤りです。重み固定ではなく、学習可能な重みを持つ残差ブロックを学習します。 ウ:誤りです。全結合層を多用せず、残差ブロックと最後にGAPを用います。 エ:誤りです。すべての先行層を連結(Concat)するのは「DenseNet」の特徴です。

152層などの超深層ネットワークの学習を可能にしたResNet(残差ネットワーク)の核心的メカニズムに関する記述として、最も適切なものを1つ選択してください。

出典G検定オリジナル模擬試験
ア
層の入力をそのまま出力側にバイパス加算する「スキップ結合(残差結合:F(x) + x)」を導入し、学習対象を元の関数 H(x) ではなく残差関数 F(x) = H(x) - x とすることで、勾配が消失せず直接浅い層まで届くようにした。
イ
各層の重みを強制的に単位行列に固定することで、層の深さに関わらず恒等写像しか行えないようにした。
ウ
すべての畳み込み層の直後に全結合層を挟み込み、各層で次元を2倍ずつ拡大させる構造をとる。
エ
過去のすべての層の出力を次の層に順番に連結(Concat)していくことで、チャンネル数を1万以上に増大させる。