01 / UNDERSTAND
仕組みと使いどころ
ExploitBenchは、LLMによるエクスプロイト開発能力を16項目、5段階で評価するベンチマークです。最初の評価対象は、修正済みのV8脆弱性41件です。脆弱なビルドと修正パッチをモデルに与え、脆弱な処理への到達、バグの再現、V8サンドボックス内外で利用できる攻撃用機能の構築、制御フローの奪取や任意コード実行までを自動判定します。単なるクラッシュや概念実証だけでなく、実際の攻撃につながる能力へどこまで進めたかを細かく比較できます。一方、管理された環境と特定の修正済み脆弱性を用いる評価であり、未知の脆弱性の発見能力や、あらゆる実環境での攻撃成功を直接示すものではありません。
02 / IN PRACTICE
ExploitBenchの活用例
たとえば、こんな場面で
モデルごとに同じV8脆弱性と試行条件を与え、バグの再現で止まったのか、サンドボックスを越えた読み書きや任意コード実行まで到達したのかを比較する用途が考えられます。
03 / GOOD TO KNOW
使うときのポイント
結果を比較するときは、対象脆弱性、試行回数、ターン上限、通常版と追加助言付き版の違いを確認してください。提示資料からは、GLM-5.3が410回中50回成功したという数値は確認できません。
参考資料
Measuring LLMs’ ability to develop exploits （新しいタブで開きます）ExploitBench: A Capability Ladder Benchmark for LLM Cybersecurity Agents （新しいタブで開きます）GitHub - exploitbench/exploitbench: ExploitBench measures how far AI agents climb, from reaching vulnerable code, to triggering the bug, to building exploit primitives, to arbitrary code execution. （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。