AI LAB / KEYWORD DICTIONARY

基礎知識

Stress testing(ストレステスト)とは?

ストレステストは、想定上の厳しい条件や意図的な問いかけをAIシステムに与え、応答を調べることで、限界や潜在的な危害、脆弱性を特定する検証手法です。

仕組みと使いどころ

AI分野のストレステストでは、発生し得る危害を引き起こしやすい入力や、仮説的なシナリオを用いてシステムの反応を確認します。これにより、特定のモデル、用途、導入状況における限界やリスク領域、脆弱性を把握し、対処すべき危害の優先順位付けに役立てられます。生成AIでは応答の範囲が広いため、テストですべての問題を発見できるとは限りません。モデルや利用状況、対策が変化すれば新たな問題も生じ得るため、測定や対策と組み合わせて反復する必要があります。

Stress testingの活用例

たとえば、こんな場面で

例えば、文章生成AIに対し、優先度の高い危害が現れやすい多様な入力を用意して応答を記録し、有害な出力の発生頻度や深刻度を確認する方法が考えられます。対策後に同じ観点で再試験すれば、問題が減ったかを検証できます。

使うときのポイント

対象モデル、用途、導入状況ごとに確認する危害を定め、判定基準と測定結果を記録します。一度の合格を安全性の保証とせず、新しい危害や回帰がないか定期的に再評価することが重要です。

参考資料

Overview of Responsible AI practices for Azure OpenAI in Foundry Models - Microsoft Foundry (新しいタブで開きます)What Is Model Risk Management? | IBM (新しいタブで開きます)What is red teaming for generative AI? (新しいタブで開きます)

用語の説明や活用例に関連する参考資料です。

READ & LEARN

用語を知ったら、活用を知る。

AI LABで、AIの動向や業務に取り入れるヒントを読む。

記事一覧を見る