RAG(検索拡張生成)システムが不正確または不適切な回答を出力した際の原因分析と品質評価に関する記述として、最も適切なものを1つ選択してください。
出典生成AIパスポートオリジナル模擬試験
ア
RAGシステムが誤った回答を出力した場合、その原因は常にLLMの推論能力不足(生成の誤り)にあり、検索エンジン側の取得結果やチャンク適合性を検証する必要は一切ない。
イ
RAGの回答品質を改善する際は、「質問に対して適切な社内文書チャンクを取得できたか(検索精度・再現率)」と、「取得した正しい文書情報を元にLLMが忠実に回答を生成できたか(生成精度・忠実性)」を切り分けて評価・分析することが重要である。
ウ
検索されたチャンクに関連情報が一切含まれていなくても、最新のLLMであれば自動的に社内データベースの全域を自律探索して正しい回答を魔法のように補完できる。
エ
RAGシステムの評価指標において、検索精度と生成精度は数学的に完全に同一の値となるため、別々にログを取得して計測することは技術的に無意味である。