01 / UNDERSTAND
仕組みと使いどころ
ベンチマーク攻略は、特定モデルのリーダーボード順位を向上させる目的で取られる戦略的行動を指します。確認済み研究では、ベンチマーク固有のデータを訓練に含めることをその一形態として扱い、目的のモデルを首位にするために必要なデータセットの選択を、ランキング操作の問題として分析しています。また、モデル開発者が首位になるため訓練へ取り込む必要がある最小データセット数を、ベンチマークの頑健性を表す尺度として提示しています。分析では、算術平均、中央値、平均勝率、ペアワイズ多数決など、集計方式によって操作の難しさが異なることが示されています。
02 / IN PRACTICE
Benchmark Gamingの活用例
たとえば、こんな場面で
特定モデルの順位を上げるため、評価対象となるベンチマークのデータセットを訓練に含める行為が例として挙げられます。
03 / GOOD TO KNOW
使うときのポイント
ベンチマークの頑健性を検討するときは、順位の集計方式によって操作に必要な訓練対象数が異なり得る点を確認します。
参考資料
How Hard is it to Rig a Benchmark? A Social Choice Analysis of Leaderboard Robustness （新しいタブで開きます）Investigating reward tampering in language models （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。