Offline Evaluation Set（オフライン評価セット）とは？

01 / UNDERSTAND

仕組みと使いどころ

Offline Evaluation Setは、参照資料に定義された独立用語ではなく、OSWorldの評価入力をローカルに用意する運用を表す説明表現である。OSWorld 2.1では、公式のPython課題クラスと完全な資産スナップショットを、選択したベンチマークリリースに合わせてダウンロードする。再現可能な評価には、OSWorld-V2のコード、課題ファイル、課題資産、模擬サイト、プロバイダーイメージなど、リリース管理される構成要素の版を対応させる必要があり、mainやlatestとの混在は避けるよう案内されている。資産のローカル取得は評価入力へのオンライン依存を減らすが、評価全体がネットワークから切り離されることを意味しない。課題によっては、自己ホストする模擬サイトやGitLabなどの関連サービスも必要になる。

02 / IN PRACTICE

Offline Evaluation Setの活用例

03 / GOOD TO KNOW

使うときのポイント

「オフライン」という名称だけで完全な無通信実行と判断しない。コード、課題、資産、模擬サイト、プロバイダーイメージの版を確認し、必要な自己ホストサービスや環境変数も揃える。