RAGシステムの評価における「検索の誤り」と「生成の誤り」の分離

RAGの不具合は、「必要な情報が検索でヒットしなかった(Retrievalの失敗)」のか、「情報は見つかったがLLMが読み違えたり無視してハルシネーションを起こした(Generationの失敗)」のかを切り分けて評価(Ragas等の評価フレームワーク)することが改善の鍵となります。 ア:誤りです。検索段階で的外れな文書しか渡されていなければ、LLMがどれほど優秀でも正しい回答は生成できません。 イ:正解です。検索段階の性能(コンテキスト適合度)と生成段階の性能(忠実性・回答妥当性)を分離して評価する重要性を的確に述べています。 ウ:誤りです。LLMはプロンプト内に渡されたコンテキスト以上の社内情報を自力で魔法のように補完することはできません。 エ:誤りです。検索システムの精度(MRR, Hit Rate等)と生成モデルの評価(Faithfulness, Answer Relevance等)は全く異なる指標です。

RAG(検索拡張生成)システムが不正確または不適切な回答を出力した際の原因分析と品質評価に関する記述として、最も適切なものを1つ選択してください。

出典生成AIパスポートオリジナル模擬試験
ア
RAGシステムが誤った回答を出力した場合、その原因は常にLLMの推論能力不足(生成の誤り)にあり、検索エンジン側の取得結果やチャンク適合性を検証する必要は一切ない。
イ
RAGの回答品質を改善する際は、「質問に対して適切な社内文書チャンクを取得できたか(検索精度・再現率)」と、「取得した正しい文書情報を元にLLMが忠実に回答を生成できたか(生成精度・忠実性)」を切り分けて評価・分析することが重要である。
ウ
検索されたチャンクに関連情報が一切含まれていなくても、最新のLLMであれば自動的に社内データベースの全域を自律探索して正しい回答を魔法のように補完できる。
エ
RAGシステムの評価指標において、検索精度と生成精度は数学的に完全に同一の値となるため、別々にログを取得して計測することは技術的に無意味である。