01 / UNDERSTAND
仕組みと使いどころ
定められた課題をAIに実行させ、その結果から能力の傾向を追跡したり、モデル同士を比較したりする方法である。AIエージェントでは、ツールを使いながら複数回のやり取りで複雑な問題を解けるかも測る。ただし、解答情報への不適切なアクセスや採点方式の抜け穴によって高得点を得ると、測定の妥当性や比較可能性が損なわれる。
02 / IN PRACTICE
Benchmark evaluationの活用例
たとえば、こんな場面で
複数のAIエージェントに同じソフトウェア修正課題を与え、解決結果を比較する用途が考えられる。
03 / GOOD TO KNOW
使うときのポイント
課題の意図と採点方法が一致しているか、解答の混入や採点の攻略がないかを確認する。
参考資料
Cheating On AI Agent Evaluations （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。