事前学習データの収集における品質とフィルタリングの重要性

「Garbage in, Garbage out(ゴミを入れればゴミが出る)」の原則通り、事前学習データの品質がLLMの性能・安全性・信頼性を決定づけます。重複排除(Deduplication)や毒性コンテンツの除外が不可欠です。 ア:誤りです。低品質データやヘイトスピーチを混入させるとモデルが誤情報や有害な発言を出力するリスクが高まるため、質の選別が極めて重要です。 イ:誤りです。重複排除(Deduplication)は同じ文章の過学習(暗記)を防ぎ、学習効率と汎化性能を高めるために不可欠な標準処理です。 ウ:誤りです。AI生成データのみで再帰的に学習を繰り返すと、データの多様性が失われ性能が急激に劣化する「モデル崩壊(Model Collapse)」が起こることが知られています。 エ:正解です。事前学習データのフィルタリング、クリーニング、重複排除がモデルの品質と安全性の基盤となります。

LLMの事前学習に用いられるデータセットの収集および前処理に関する記述として、最も適切なものを1つ選択してください。

出典生成AIパスポートオリジナル模擬試験
ア
学習データの収集においては「質」よりも「量」だけが決定的に重要であり、低品質なテキストやヘイトスピーチ、重複コンテンツを無差別にそのまま大量投入するほどモデル性能は確実に向上する。
イ
Webスクレイピングデータには個人情報や著作物が含まれている可能性があるが、学習段階でのフィルタリングや重複排除(Deduplication)はモデルの汎化性能を著しく損なうため避けるべきである。
ウ
AI自身が生成した合成データのみを何世代にもわたって再帰的に事前学習データとして使い続けると、モデルの出力品質や表現の多様性は劣化することなく無限に向上し続ける。
エ
高品質なモデルを構築するためには、個人情報や有害コンテンツの除去、重複データの削除(Deduplication)、事実性の低いスパムや低品質テキストの除外などの厳格なデータ前処理・フィルタリングがモデルの性能と安全性を大きく左右する。