転移学習(Transfer Learning)とファインチューニングの手順

転移学習は特徴抽出器として事前学習モデルを活用します。特徴抽出層の重みを固定(Freeze)して出力層のみを学習させる特徴抽出アプローチや、全層または一部を微小学習率で更新するファインチューニングがあります。 ア:正解です。事前学習で得られた汎用的な特徴表現を活用し、微小な学習率で目的タスクに適応させます。 イ:誤りです。事前学習された重みを引き継ぐことこそが転移学習の本質です。 ウ:誤りです。データが少ないときに全層を大きな学習率で更新すると、過学習や破滅的忘却を引き起こします(浅い層を凍結すべきです)。 エ:誤りです。特徴抽出器として固定するか、重みも微調整(Fine-tune)するかという手法の違いがあります。

大規模データセット(ImageNet等)で事前学習されたモデルを自社の独自タスクに適用する「転移学習」と「ファインチューニング」に関する記述として、最も適切なものを1つ選択してください。

出典G検定オリジナル模擬試験
ア
ファインチューニングでは、事前学習済みモデルの重みを初期値として利用し、独自のデータセットを用いて全層あるいは一部の層の重みを微小な学習率で再学習(微調整)する。
イ
転移学習を行う場合、事前学習モデルのすべての重みを完全にランダムな値で初期化し直す必要がある。
ウ
ターゲットタスクのデータ数が極端に少ない場合、モデルの全層の重みを大きな学習率で学習させるのが最も安全である。
エ
転移学習とファインチューニングは完全に同一の概念であり、重みの凍結(Freeze)などの区別は存在しない。