AI LAB / KEYWORD DICTIONARY

基礎知識

Prompt Injection(プロンプトインジェクション)とは?

プロンプトインジェクションは、悪意ある命令をAIに処理させ、本来の指示や方針を無視させたり、出力や行動を不正に変えたりする攻撃です。

仕組みと使いどころ

攻撃者がAIへ直接、不正な指示を入力する「直接型」と、Webページ、メール、文書などに命令を埋め込み、それを読み込んだAIへ間接的に影響させる「間接型」があります。成功すると、機密情報の開示、不適切な出力、接続されたツールによる意図しない操作などにつながる可能性があります。特に、外部コンテンツを読み、フォーム入力やファイル操作などを行うAIエージェントでは、攻撃経路と影響範囲が広がります。モデルの耐性向上や検出機能はリスク軽減に役立ちますが、完全に解決された問題ではありません。

Prompt Injectionの活用例

たとえば、こんな場面で

メールを要約するAIが、本文内に隠された「機密情報を外部へ送信せよ」という命令を利用者の依頼と誤認する場合があります。対策として、外部コンテンツを信頼しない前提で扱い、AIに許可するデータや操作を必要最小限に制限する方法が考えられます。

使うときのポイント

外部のWebページ、メール、文書を扱う機能では、入力の検査、アクセス権限と操作範囲の制限、重要操作の確認、ログ監視などを組み合わせ、攻撃が成功しても被害を広げにくい設計か確認します。

参考資料

Mitigating prompt injections in browser use (新しいタブで開きます)2. Prompt Injection (Direct / Indirect) (新しいタブで開きます)

用語の説明や活用例に関連する参考資料です。

READ & LEARN

用語を知ったら、活用を知る。

AI LABで、AIの動向や業務に取り入れるヒントを読む。

記事一覧を見る