01 / UNDERSTAND
仕組みと使いどころ
営業、マーケティング、運用、サポート、財務、人事の模擬業務を対象に、エージェントが必要なREST APIを見つけ、複数段の業務規則に従い、複数システムを正しい最終状態へ導けるかを評価する。採点は操作過程ではなく最終状態をプログラムで検証する。公開課題と公式順位用の非公開課題は難度が異なるため、ローカル結果と公式スコアは一致するとは限らない。
02 / IN PRACTICE
AutomationBenchの活用例
たとえば、こんな場面で
業務自動化エージェントの候補を同じ公開課題で実行し、部門別の成功状況や失敗箇所を比較する。
03 / GOOD TO KNOW
使うときのポイント
比較時は課題セット、版、推論設定、採点指標を揃え、部分点と完全成功率を混同しない。
参考資料
AutomationBench （新しいタブで開きます）GitHub - zapier/AutomationBench: A benchmark for evaluating AI agents on realistic business workflows （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。