LLMのファインチューニング

ファインチューニングは、事前学習済みモデルを特定の目的に合わせて追加学習する手法です。したがって、正答はエです。 考え方： 大量の一般データから言語の規則や知識を獲得する段階が「事前学習」です。その学習済みモデルに、分類、要約、専門分野での応答など目的に対応したデータを与え、モデルのパラメータを調整する段階が「ファインチューニング」です。ゼロからモデルを作り直すのではなく、事前学習で得た能力を土台として目的のタスクに適応させます。 ア： 強化学習は、行動の結果に対する報酬を手掛かりに方策を改善する学習の枠組みです。LLMの調整に利用されることはありますが、ファインチューニング一般の定義そのものではありません。 イ： 事前学習と同じデータを単に繰り返すだけでは、特定の目的への適応を表していません。追加学習のデータと目的が、対象タスクに対応していることが重要です。 ウ： 大量のテキストから広範な言語能力を獲得させる説明は、主として事前学習に当たります。設問は、その事前学習を終えたモデルに対して行う処理を尋ねています。 エ：正解。 特定のデータで追加学習し、目的とするタスクに適用できるようパラメータを調整するという、ファインチューニングの説明です。

大規模言語モデルを用いた自然言語処理において、事前学習済みのモデルに対して行うファインチューニングに関する記述として、最も適切なものはどれか。

出典令和7年度 基本情報技術者試験 科目A 問1
ア
強化学習を行い、最適な結果が得られるようにする。
イ
事前学習と同じデータを繰り返し用いて学習を行い、モデルの精度を高めるようにする。
ウ
大量のテキストデータを用いて学習を行い、モデルの精度を高めるようにする。
エ
特定のデータを用いて追加で学習を行い、目的とするタスクに適用できるようにする。