01 / UNDERSTAND
仕組みと使いどころ
WebArenaを利用した評価では、Dockerコンテナでブラウザとウェブページ群を再現します。電子商取引、掲示板、共同ソフトウェア開発、コンテンツ管理などの機能するサイトを用意し、情報検索、アカウント作成、商品注文、投稿、リポジトリ操作などの複数手順を含む課題を実行できます。環境を自己ホストして初期状態へ戻せるため、同じ条件でタスクの成否を評価できます。一方、実際のインターネット全体を再現するものではなく、CAPTCHA、人とのやり取り、予期しない障害などを含む現実の複雑さとは差があります。
02 / IN PRACTICE
Simulated internetの活用例
エージェントに、Wikipediaで情報を調べる、掲示板のアカウントを作る、商品を注文する、リポジトリを取得してスクリプトを実行する、といった課題を与えて成否を測ります。
03 / GOOD TO KNOW
使うときのポイント
評価結果を比較する際は、再現されたサイト、課題、初期状態、成功判定の基準を確認してください。模擬環境での成功率だけでは、実際のウェブ上での性能を判断できません。
参考資料
evals/evals/elsuite/multistep_web_tasks/README.md at main · openai/evals (新しいタブで開きます)WebArena: A Realistic Web Environment for Building Autonomous Agents (新しいタブで開きます)webarena/README.md at main · web-arena-x/webarena (新しいタブで開きます)用語の説明や活用例に関連する参考資料です。

