AIエージェントのセキュリティ(過剰な権限・ツール悪用)

更新日:

用語解説

AIエージェントは、目標に応じて計画し、外部データを参照しながらツールを呼び出して処理を進めます。実行能力が高いため、誤判断や間接プロンプトインジェクションが実処理へ波及する危険があります。

■ 試験で押さえるポイント

  • エージェントごとに専用IDを与え、利用可能なデータ、ツール、引数及び権限を業務に必要な最小範囲へ制限します。

  • 送金、削除、公開、権限変更などの高影響操作は、実行内容と対象を利用者が確認できる形で提示し、人又は独立した制御による承認を要求します。

  • 外部のWebページ、文書、電子メール及びツール出力は信頼できないデータとして扱い、そこに含まれる指示とシステムの命令を分離します。

  • ツールの入力・出力検証、実行回数・時間・費用の上限、操作ログ、緊急停止及び取消し手段を設けます。

■ 過去問での着眼点

例: メール要約エージェントには読取り専用権限だけを与え、メール本文に送信命令が書かれていても実行せず、外部送信には利用者の確認を要求します。

音声で聞く

同じ分野の用語