AI LAB / KEYWORD DICTIONARY

基礎知識

Simulated internet(模擬インターネット)とは?

ブラウザと複数のウェブサイトを再現し、AIエージェントによるウェブ操作の課題を評価できる実験環境です。

仕組みと使いどころ

WebArenaを利用した評価では、Dockerコンテナでブラウザとウェブページ群を再現します。電子商取引、掲示板、共同ソフトウェア開発、コンテンツ管理などの機能するサイトを用意し、情報検索、アカウント作成、商品注文、投稿、リポジトリ操作などの複数手順を含む課題を実行できます。環境を自己ホストして初期状態へ戻せるため、同じ条件でタスクの成否を評価できます。一方、実際のインターネット全体を再現するものではなく、CAPTCHA、人とのやり取り、予期しない障害などを含む現実の複雑さとは差があります。

Simulated internetの活用例

たとえば、こんな場面で

エージェントに、Wikipediaで情報を調べる、掲示板のアカウントを作る、商品を注文する、リポジトリを取得してスクリプトを実行する、といった課題を与えて成否を測ります。

使うときのポイント

評価結果を比較する際は、再現されたサイト、課題、初期状態、成功判定の基準を確認してください。模擬環境での成功率だけでは、実際のウェブ上での性能を判断できません。

参考資料

evals/evals/elsuite/multistep_web_tasks/README.md at main · openai/evals (新しいタブで開きます)WebArena: A Realistic Web Environment for Building Autonomous Agents (新しいタブで開きます)webarena/README.md at main · web-arena-x/webarena (新しいタブで開きます)

用語の説明や活用例に関連する参考資料です。

READ & LEARN

用語を知ったら、活用を知る。

Simulated internetが登場する記事から、次のヒントを。

新しい順 最新1件

日本語名や別名を含む記事もご紹介しています。