AI LAB / KEYWORD DICTIONARY

AIエージェント評価

BrowseComp(BrowseComp)とは?

ウェブ上の見つけにくく複雑に絡んだ情報を、エージェントが粘り強く探索できるか測るベンチマーク。

仕組みと使いどころ

インターネットを継続的にたどらなければ答えに到達しにくい1,266問で、ブラウジングエージェントの探索能力を評価する。回答は短く、参照回答と照合しやすい。一方、長文生成や曖昧な依頼への対応など、実際の利用者から寄せられる多様な課題を再現するものではなく、総合的な実用性を単独で示す評価ではない。

BrowseCompの活用例

たとえば、こんな場面で

複数のページを横断しないと特定できない事実を探させ、最終回答を参照回答と照合する評価に活用できる。

使うときのポイント

得点を見る際は、ウェブ探索の中核能力を測る指標であり、長文回答や曖昧さの解消は評価範囲外だと確認する。

参考資料

BrowseComp: A Simple Yet Challenging Benchmark for Browsing Agents (新しいタブで開きます)

用語の説明や活用例に関連する参考資料です。

READ & LEARN

用語を知ったら、活用を知る。

AI LABで、AIの動向や業務に取り入れるヒントを読む。

記事一覧を見る