プロンプトインジェクション

プロンプトインジェクションは、生成AIに処理させる入力や外部のデータに悪意のある指示を混ぜ、開発者や利用者の意図と違う出力や操作をさせる攻撃です。

■ 試験で押さえるポイント

• 利用者が直接指示を入力する直接型と、AIが読むWebページや文書に指示を埋め込む間接型があります。

• 自然言語では命令とデータの区別があいまいなため、特定の言葉を禁止するだけでは防げません。

• AIが使える権限を最小にし、重要な操作は人が承認するようにします。

■ 過去問での着眼点

生成AIを操る攻撃で、データベースを狙うSQLインジェクションとは対象も仕組みも異なります。

例: 要約するWebページに「秘密を送信せよ」と書かれていても、AIに秘密を読む権限や送信の機能を与えなければ被害を防げます。