転移学習

転移学習は、あるデータ・課題で学んだ特徴表現やパラメータを、関連する別の対象課題へ再利用し、学習効率や性能を高める手法の総称です。

■ 試験で押さえるポイント

• 元の課題をソース、適用先をターゲットと呼び、事前学習済み層を特徴抽出器として固定する方法や、目的データでファインチューニングする方法があります。

• ターゲットのラベル付きデータが少ない場合でも、低層の形状・語彙等の汎用表現を再利用して、ゼロからの学習より必要量を減らせます。

• ソースとターゲットの分布・目的が離れ過ぎると、不要な知識が性能を下げる負の転移が起きるため、ベースラインと比較します。

• 事前学習とファインチューニングは典型的な実現工程ですが、転移学習はドメイン適応、特徴再利用等も含むより広い概念です。

■ 選択肢での判断ポイント

既学習の知識を関連する別課題へ再利用する点と、負の転移の可能性を押さえます。単に同じデータで学習を続けることではありません。

例: 一般画像で学んだCNNの前段を固定し、最後の分類層だけを少数の部品画像で学習します。ゼロからのモデルと検証性能を比較して転移効果を確認します。