AI LAB / KEYWORD DICTIONARY

基礎知識

Terminal-Bench 4.0(ターミナル操作ベンチマーク)とは?

Terminal-Bench 4.0は、AIモデルがコマンドライン環境で複雑な複数段階の専門的課題を完了する能力を測る、エージェント型コーディング評価です。

仕組みと使いどころ

Terminal-Bench 4.0では、モデルが端末上で課題を進め、必要な操作を重ねて完了できるかを評価します。モデルや推論負荷ごとの成績を比較する用途に使えます。ただし、ベンチマークの得点は能力の一側面を示すものであり、複雑で自由度の高い実務を含む総合的な性能や、個別環境での成功を保証するものではありません。推論負荷を高めると、一般に処理時間と課題当たりの費用が増え、得点も上がる傾向があるため、条件をそろえた比較が必要です。

Terminal-Bench 4.0の活用例

たとえば、こんな場面で

コーディングエージェントの候補を選ぶ際に、同じ推論負荷でのTerminal-Bench 4.0の得点と課題当たりの費用を確認し、端末を使う複数段階の作業への適性を比較する参考指標として利用できます。

使うときのポイント

モデル名、推論負荷、費用、評価条件を併せて確認します。提示資料ではGPT-6.1 Terraの50.3%という成績は確認できないため、その数値は確定情報として扱えません。

参考資料

Introducing Claude Sonnet 5.5 (新しいタブで開きます)

用語の説明や活用例に関連する参考資料です。

READ & LEARN

用語を知ったら、活用を知る。

AI LABで、AIの動向や業務に取り入れるヒントを読む。

記事一覧を見る