01 / UNDERSTAND
仕組みと使いどころ
攻撃者がAIへ直接指示するのではなく、AIが参照・要約・分析する外部コンテンツに命令を隠す点が特徴です。攻撃が成功すると、元の指示に反する応答、機密情報の漏えい、接続されたツールによる未承認の操作などにつながる可能性があります。対策では、外部コンテンツを信頼しない前提に立ち、攻撃パターンの検出、入力の分離やマーキング、権限とツール利用の制限、実行経路の監視、危険な操作に対する人の確認などを重ねます。ただし、単一の検出機能ですべての攻撃を防げるわけではなく、誤検出や見逃しもあり得ます。また、攻撃検出は内容の正確性や安全性、用途への適合性まで保証するものではありません。
02 / IN PRACTICE
Indirect prompt injectionの活用例
たとえば、こんな場面で
外部文書を要約するAIでは、文書内に「以前の指示を無視して情報を送信せよ」といった命令が含まれていないか検査し、検出時は文書を除外する、処理を止める、または担当者の確認に回す運用が考えられます。
03 / GOOD TO KNOW
使うときのポイント
Webページ、メール、文書、検索結果、ツール応答を扱う機能を洗い出し、信頼できない内容の分離、最小権限、監視、人による承認を組み合わせてください。利用する言語ごとの検出性能も実データで確認が必要です。
参考資料
Defend against indirect prompt injection attacks （新しいタブで開きます）2. Prompt Injection (Direct / Indirect) （新しいタブで開きます）Prompt Shields in Microsoft Foundry - Microsoft Foundry （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。