AI LAB / KEYWORD DICTIONARY

AIエージェント評価

OSWorld 2.0(OSWorld 2.0)とは?

現実的で長時間に及ぶコンピューター操作を通じて、AIエージェントの完遂能力を測るベンチマーク。

仕組みと使いどころ

日常業務と専門業務にまたがる108件の長期ワークフローで、コンピューター操作エージェントを評価する。複数情報源の照合、暗黙状態の推定、動的な更新への対応、精密な画面操作などを含み、完遂率と部分得点を測る。タスクが長くなるほど性能が低下し、制約の見落とし、確認不足、状態追跡の失敗などが生じることを示す。

OSWorld 2.0の活用例

たとえば、こんな場面で

複数の文書やWeb画面を扱う業務エージェントについて、最終完遂だけでなく途中の達成度を比較する用途が考えられる。

使うときのポイント

短い画面操作の成績と同一視せず、手順数、作業時間、評価指標、途中確認を含む条件を確認する。

参考資料

Benchmarking computer-use agents on long-horizon real-world tasks (新しいタブで開きます)

用語の説明や活用例に関連する参考資料です。

READ & LEARN

用語を知ったら、活用を知る。

AI LABで、AIの動向や業務に取り入れるヒントを読む。

記事一覧を見る