新しいAIモデルを採用するか、いまのモデルを使い続けるか。その判断材料となる評価で、同じモデルの進歩が大きく見えたり、ほとんど見えなかったりすれば、企業の選定担当者は戸惑います。THE DECODERの原文が伝えるGPT-6 Astraの評価は、まさにその状況です。AIモデルを比較・評価するArtificial Analysisは、総合指標「Intelligence Index」をバージョン4.2に更新しました。改定後、Astraは前世代のSolを4ポイント上回っています。旧指標では両モデルが同点でした。

原文によると、改定前にはOpenAI自身の評価を含む複数の検証で、Astraが他モデルを大きく引き離していました。AIの性能などを研究するEpoch AIは、50以上のベンチマークを通じてAstraに169ポイントを付け、267モデル中の首位に位置付けています。ARC-AGI-3でも、評価の実行環境によって幅はあるものの、大きな性能向上が示されていました。こうした結果に対して、Artificial Analysisでは前世代と並んでいたため、進歩を十分に捉えていないのではないかという疑問が生じた形です。



ただし、原文は批判への対応が改定の背景にあると推測しており、因果関係が確認されたとは述べていません。今回のニュースで企業が押さえたいのは、順位だけではなく、評価する物差しの変更によってモデル間の差の見え方も変わる点です。総合スコアは比較の入口にはなりますが、自社業務でどれだけ成果が出るかを、そのまま保証する数値ではありません。

Intelligence Index v4.2では、二つのベンチマークが追加されました。一つは実際の知識労働を対象とする「AA-Briefcase」、もう一つはSurge AIによるPDF文書分析の「GDP.pdf」です。反対に、従来の「GPQA-Diamond」は評価対象から外れました。原文では、モデルがこのテストを解けるようになったことを除外の理由として挙げています。

ベンチマークは、共通の課題を与えてモデルの能力を比較するための試験です。多くのモデルが課題を解けるようになると、その試験だけでは上位モデルの違いが見えにくくなります。一般に、これは評価の「飽和」と呼ばれる問題です。試験が役に立たなくなるというより、比較したい能力やモデルの水準に合わせて、課題を見直す必要が出てきます。GPQA-Diamondの除外も、この観点から理解できますが、あらゆる知識問題が解決済みになったという意味ではありません。



企業の立場では、知識労働や文書分析を評価に加えた点が目を引きます。たとえば社内資料の読解では、文章を理解するだけでなく、必要な情報を見つけて依頼に沿って整理する力が問われます。PDFの扱いでも、文書内の情報をどの程度正確に読み取れるかは実務上の関心事です。ただし、ここで挙げた業務例は活用を考えるための補足であり、追加された試験の具体的な出題内容を示すものではありません。

原文には、新しい二つのテストの設問構成や採点基準までは記されていません。そのため、追加された名称だけで「自社の文書業務にも強い」と判断するのは早計です。実務に近い評価領域が増えたことと、自社の資料や作業条件が評価に含まれていることは、分けて確認する必要があります。

今回の改定では、非公開のテストデータが指標の重み付け全体の40％を占めるようになりました。問題や正解が広く知られていると、評価で高得点を取ることに適応したモデルと、未知の課題にも対応できるモデルを見分けにくくなる場合があります。Artificial Analysisは、非公開データを増やすことで、評価の攻略を難しくする狙いを示しています。ここでの40％は重み付けの割合であり、設問数の40％と読み替えることはできません。

非公開の問題を使う意義は、既知の試験で好成績を収める能力だけに評価が偏るのを抑える点にあります。ただし、問題が非公開というだけで、あらゆる偏りがなくなるわけではありません。どんな分野を出題するか、何を正解と認めるか、複数の能力をどの比率で合算するかによって、総合点の意味は変わります。企業が結果を読む際には、公開されている評価方針や対象業務にも目を向けたいところです。



Artificial Analysisは、複数のベンチマークで採点ミスも修正し、結果をより安定させるために採点の仕組みを調整しました。原文には、それぞれの修正が各モデルの点数にどれだけ影響したかという内訳はありません。したがって、AstraとSolの間に生まれた4ポイント差を、新設テストだけの効果と説明することはできません。

この点は、社内の比較資料を更新する際にも関わります。異なる版の点数を一つの表に並べると、モデルの改善と評価方法の変更を混同するおそれがあります。同じ版での比較を基本とし、参照した版と確認日を記録しておけば、選定理由を後から説明しやすくなるでしょう。

改定後のランキングでも、AnthropicのClaude Fable 5.1が首位を維持しています。GPT-6 Astraは2位、Metaは3位です。原文はMetaの具体的なモデル名を示していないため、企業名から特定の製品を推定することは避けるべきです。Astraの前世代に対する評価差は変わりましたが、今回の改定で総合順位の首位になったわけではありません。

性能以外では、Artificial Analysisによると、Astraは一つのタスクに使うトークン数が、ほかのすべての最先端モデルより少ないとされています。トークンは、モデルが文章などを処理する際に用いる単位です。日本語の一文字や英語の一単語と必ず一致するものではありません。一般に、処理するトークンの量は利用コストを考える材料になりますが、トークン数だけで請求額が決まるとは限りません。



原文では、費用対性能についてAnthropic、OpenAI、Meta、Zhipu AIの4社が先頭グループに並んでいます。Zhipu AIもAIモデルを開発する企業です。この記述から読み取れるのは、総合性能の首位と、費用を踏まえた評価の先頭集団が一致するとは限らないことです。具体的な価格や計算条件は原文に記載されておらず、どの企業にとっても同じ選択肢が最安になるとは断定できません。

実務では、一回の応答にかかる費用に加え、修正や再実行の必要性も判断に含めるとよいでしょう。安く出力できても、確認に多くの時間を要するなら、業務全体の負担は減らない場合があります。これは今回のランキングから直接証明された結果ではなく、導入時の考え方です。用途ごとに必要な品質を定め、その水準を満たすまでの費用と作業時間を比較することで、トークン効率の良さを自社でどう評価するかが見えてきます。

原文では、ARC-AGI-3におけるAstraの伸び幅が、使う「ハーネス」によって変わったとされています。ハーネスとは、モデルに課題を渡し、実行して結果を測るための仕組みや設定のことです。一般に、モデルへの指示、利用できるツール、実行回数などの条件は結果に影響し得ます。ただし、今回の評価で具体的にどの条件が違っていたかは、提示された原文だけでは分かりません。

モデル名が同じでも、動かし方まで同じとは限らない点が、企業の比較検証では重要です。自社システムに組み込む際には、社内データの渡し方や利用できる機能など、実際の運用条件があります。外部評価で示された強みを再現できるかは、その条件も踏まえて確かめる必要があるでしょう。異なる評価機関の点数を並べる場合も、数字の大小だけでなく、何をどの条件で測ったのかを読むことが欠かせません。



Artificial Analysisは、大型モデルの公開が続く間も点数の安定性を保つため、更新を控えていたと説明しています。しかし、ランキング上位の変化が速く、途中段階での改定が必要になりました。同社によると、次のバージョン5は8カ月前から開発が進められており、段階的に公開される予定です。原文には、具体的な公開日は示されていません。

ここには、評価を長く比較できるように保つことと、新しい能力を適切に測ることの両立という課題があります。企業側も、いったん決めた評価方法を永久に固定する必要はありません。継続比較に使う課題を残しつつ、新たに任せたい業務を加える方法が考えられます。その際は課題の追加や採点変更を記録し、点数の変化が何によるものかを追える状態にすることが大切です。

今回の改定をモデル選定に生かすなら、ランキングの上位をそのまま採用するよりも、自社がAIに任せたい作業を具体化することから始めるとよいでしょう。以下は原文の報道内容を踏まえた導入上の提案です。知識労働やPDF分析が新たに評価対象となったことは参考になりますが、日本語の社内資料や独自の書式でも同じ順位になるかは、今回の記事では確認できません。

検証対象には、利用権限と取り扱い条件を確認した資料を使います。たとえば一つのPDFから、指定した項目を抜き出して出典箇所を示すという作業なら、出力の正しさを人が照合しやすくなります。最初から「業務をどれだけ効率化できるか」と広く問うより、何を抽出し、どの状態なら合格とするかを先に決めたほうが、候補間の違いを捉えやすいでしょう。これは検証の例であり、原文が紹介した試験の再現手順ではありません。



候補モデルには同じ資料と依頼を渡し、回答の正確さ、情報の抜け、出典の一致、人による修正時間を確認します。利用料金や所要時間も併せて記録すれば、総合スコアと業務上の価値の関係を検討できます。一度の成功だけで安定性まで判断せず、条件をそろえて繰り返し確認することも必要です。最初の文書で得られた結果を、すべての文書に当てはめることはできません。

検証結果が外部ランキングと異なっても、直ちにどちらかが間違っているとは限りません。対象となる言語、資料、採点の重点が違えば、用途に適したモデルの順番が変わることも考えられます。担当者が次に用意したいのは、社内で頻繁に扱う文書一つと、その作業に対する合格条件です。それを共通の課題として候補を試し、人が直す箇所まで記録すれば、指標の順位だけでは決められない採用判断に進めます。

本記事は、以下の原文をもとに翻訳・再構成し、企業のモデル選定に関する解説を加えています。順位や数値は原文の報道時点の内容です。

Artificial Analysis overhauls its Intelligence Index after GPT-6 Astra scoring drew skepticism