事前学習

事前学習は、最終的な個別用途へ適応させる前に、大規模又は汎用的なデータでモデルを学習し、再利用可能な特徴表現や知識を獲得させる工程です。

■ 試験で押さえるポイント

• 正解ラベル付きデータによる教師あり学習のほか、文章の次トークン予測や画像の一部復元等の自己教師あり学習が使われます。

• 得たパラメータを初期値として、ファインチューニング、特徴抽出、プロンプト等で下流タスクへ適応し、必要な専用データと計算を減らせます。

• 事前学習データの偏り、誤情報、著作権・個人情報、評価データの混入が下流へ引き継がれるため、由来と適用範囲を評価します。

• 事前学習は汎用能力を作る工程、ファインチューニングは目的データで調整する工程、転移学習は知識を別課題へ利用する広い考え方です。

■ 選択肢での判断ポイント

大規模な一般データで先に表現を学び、後から目的用途へ適応する順序を押さえます。下流タスクだけをゼロから学ぶ処理ではありません。

例: 大量の一般画像で物体の特徴を事前学習したモデルを初期値にし、少数の製品画像で不良分類へ調整すれば、専用データ不足を補えます。