01 / UNDERSTAND
仕組みと使いどころ
AIレッドチーミングは、AIシステムを敵対的に試験し、安全でない挙動、セキュリティ上の問題、方針違反、潜在的な脆弱性を見つける取り組みです。通常の品質評価では表面化しにくい悪用、障害モード、高リスクなやり取りを重点的に調べます。分野の専門家による試験、多言語・多文化の観点による試験、クラウド参加型の試験、言語モデルを利用した攻撃例の生成、自動化された試験など、目的や脅威モデルに応じた方法があります。手法が十分に標準化されていないため、異なるAIシステムの結果を客観的に比較しにくい場合があります。
02 / IN PRACTICE
AI Red Teamingの活用例
たとえば、こんな場面で
危険な挙動を誘発する入力を人が作成し、その入力の多数の変形を言語モデルで生成して、対象システムの応答を調べます。見つかった失敗は、緩和策や自動評価の作成に利用できます。
03 / GOOD TO KNOW
使うときのポイント
試験対象を調べる権限を確認し、対象とする脅威や失敗モードを明確にします。通常の評価と併用し、発見した問題への対策と、その対策が有効かを確かめる再評価まで行います。
参考資料
Red teaming | OpenAI API （新しいタブで開きます）Challenges in red teaming AI systems （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。