01 / UNDERSTAND
仕組みと使いどころ
Gray Swan IPI Benchmarkは、メール、文書、コード、Webページなどに仕込まれた指示がAIエージェントの動作を不正に変えるかを評価する。公開環境には、ツール操作、コーディング、ブラウザ操作の3分類、計41のシナリオが含まれる。攻撃が指定された操作を引き起こしたか、利用者の依頼を継続して処理したか、攻撃を隠せたかなどを、ツール呼び出しの判定と設定可能なLLM判定で確認する。結果は評価対象のモデル、攻撃文、シナリオ、判定モデルなどの条件に依存し、低い攻撃成功率や0％という結果も、未評価の攻撃を含む完全な安全性を保証しない。
02 / IN PRACTICE
Gray Swan IPI Benchmarkの活用例
たとえば、こんな場面で
外部メールを読み取り、必要に応じて機器を操作するAIエージェントについて、メール本文に埋め込まれた不正な操作指示に従うかを検証する用途が考えられる。モデル更新前後の結果を同じ条件で比較する使い方もできる。
03 / GOOD TO KNOW
使うときのポイント
結果を確認するときは、評価したシナリオと攻撃文、モデル設定、判定基準を併せて見る。特定条件で攻撃が成功しなかったことと、あらゆる間接プロンプト注入を防げることは区別する。
参考資料
GitHub - GraySwanAI/ipi_arena_os （新しいタブで開きます）How Vulnerable Are AI Agents to Indirect Prompt Injections? Insights from a Large-Scale Public Competition （新しいタブで開きます）Gemini 4 Carbon: our next frontier model （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。