01 / UNDERSTAND
仕組みと使いどころ
複数の評価データセットを四つの分野に分け、各分野を同じ比率で加重してモデル能力をまとめる。個別課題の正答やタスク完了などを統合し、モデル間の総合比較に用いる。主にテキスト中心の英語評価であり、一部では画像も扱うが、多言語、音声、視覚能力は別に評価される。総合値は便利な要約である一方、すべての利用目的に直接当てはまるとは限らない。
02 / IN PRACTICE
Intelligence Indexの活用例
たとえば、こんな場面で
候補モデルを大まかに比較する参考値として使い、実際の業務に近い個別評価の結果と併せて選定する。
03 / GOOD TO KNOW
使うときのポイント
総合値だけで判断せず、内訳となる評価分野、重み、入力形式や言語が利用目的に合うかを確認する。
参考資料
Intelligence Benchmarking | Artificial Analysis （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。