01 / UNDERSTAND
仕組みと使いどころ
SEC-bench Proは、公開済みの脆弱性報告と発火条件を基に、モデルが実際に動作する概念実証（PoC）入力を生成できるか評価するベンチマークです。検証済みの344件を収録し、対象はChromium V8、Mozilla SpiderMonkey、Linuxカーネルです。メモリ安全性、サンドボックス、JIT、競合状態などの問題を扱い、コードベース全体にまたがる長期的な推論能力の比較に利用できます。ただし、対象は既知の報告と三つのソフトウェアに限られ、結果は未知の脆弱性を発見する能力やセキュリティ業務全般の性能を直接保証するものではありません。また、論文では採点方法によって評価結果が変わり得る点も示されています。
02 / IN PRACTICE
SEC-bench Proの活用例
たとえば、こんな場面で
複数のAIモデルに同じSEC-bench Proの事例を与え、どの程度の割合で検証可能なPoCを作成できるか比較する用途が考えられます。モデル更新前後の長期的な脆弱性解析能力を確認する評価にも利用できます。
03 / GOOD TO KNOW
使うときのポイント
結果を比較するときは、対象プロジェクト、事例数、使用したエージェント、実行環境、時間制限、採点方法が同一かを確認してください。得点だけで未知の脆弱性発見能力を断定しないことが重要です。
参考資料
SEC-bench Pro: Can Language Models Solve Long-Horizon Software Security Tasks? （新しいタブで開きます）GitHub - SEC-bench/SEC-bench-Pro （新しいタブで開きます）Gemini 4 Carbon: our next frontier model （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。