ハルシネーション

ハルシネーションは、生成AIが、事実ではない内容、存在しない出典、入力と矛盾する説明、誤った計算などを、もっともらしく生成する現象です。意図的な攻撃に限らず通常利用でも起こります。

■ 試験で押さえるポイント

• 言語モデルは文章の真偽をデータベース検索して保証するのではなく、文脈上もっともらしいトークンを生成するため、流暢さや断定調は正しさの証明になりません。

• 学習知識の不足・古さ、曖昧な指示、長い文脈の取り違え、検索結果の不足、確率的生成など複数要因で生じます。temperatureを0にしても知識誤りは残ります。

• RAG、信頼できるツール、制約付き出力、引用提示で減らせますが、検索漏れや引用と主張の不一致は残ります。根拠の実在と内容を一次資料で検証します。

■ 選択肢での判断ポイント

もっともらしい虚偽を生成する現象であり、マルウェア攻撃や学習データへの意図的混入だけを指しません。RAGで完全解消するという選択肢も誤りです。

例: AIが存在しない判例番号を示した場合、番号の形式が自然でもハルシネーションです。公式判例DBで実在と内容を確認できなければ業務判断に使いません。