IT資格用語解説情報セキュリティマネジメント試験・技術的セキュリティ対策
AI そのものを守るセキュリティ技術(Security for AI)
更新日:
用語解説
AIそのものを守るセキュリティ技術（Security for AI）は、AIシステムを、学習データの汚染、敵対的な入力、モデルの窃取、プロンプトインジェクション、機密情報の漏えいなどから守る技術と管理策です。
■ 試験で押さえるポイント
データポイズニングは、学習データに不正なデータを混ぜて、AIの判断をゆがめる攻撃です。
敵対的サンプル（敵対的入力）は、人には分からない小さな加工でAIに誤った判断をさせる攻撃です。
プロンプトインジェクションは、生成AIへの入力に悪意のある指示を紛れ込ませ、想定外の動作や情報の出力をさせる攻撃です。
学習から運用までのライフサイクル全体で、データの管理、入出力の検査、アクセス制御を行います。
攻撃 | 内容 |
|---|---|
データポイズニング | 学習データを汚染してモデルの判断をゆがめる |
敵対的サンプル | 入力を細工して誤った判断をさせる |
モデル抽出 | 多数の問合せの結果からモデルを複製する |
プロンプトインジェクション | 入力に指示を紛れ込ませて想定外の動作をさせる |
■ 過去問での着眼点
生成AIの利用では、機密情報を入力して外部に漏れるリスクと、生成された内容の誤りや権利侵害のリスクも問われます。