AI性能評価を手掛けるアーティフィシャル・アナリシス (Artificial Analysis) は10月28日(現地時間)、AI性能評価指標であるインテリジェンス・インデックス (Intelligence Index) の最新版v5を公開した。この更新は、フロンティアモデルの独立した知能測定指標として注目される一方で、AIベンチマーク業界が直面する課題を浮き彫りにしている。現在のAIモデルの性能を単一の数値で表現することの困難さや、評価が市場に与える影響の大きさが指摘されている。
アーティフィシャル・アナリシス (Artificial Analysis) のインテリジェンス・インデックス (Intelligence Index) v5は、今日の現実世界での利用状況を反映すると説明されており、重み付けは知識労働 (Knowledge Work) が25%、コーディング (Coding) が25%、科学 (Science) が25%、そして汎用 (General) が25%とされている。知識労働ではAA-BriefcaseやAutomationBench-AA、GDP.pdfが、コーディングではFrontierCode 2.0やTerminal-Bench 4.0が評価項目に含まれる。
同指数が提示した新たなモデルランキングでは、GPT 6.1 TerraがClaude Fable 5.1を上回る結果を示した。また、このベンチマークのデータによると、8つのクローズドモデルが、現時点で最良とされるオープンウェイトモデルのKimi K3.1 Proを凌駕している。この結果は、フロンティアモデルの進化の方向性を測定しようとするアーティフィシャル・アナリシス (Artificial Analysis) の見解を反映しているとみられる。
インターコネクツ (Interconnects) の記事では、オープンモデルは一部の能力においてフロンティアモデルから遅れをとっているものの、その価値提案はフロンティアで直接競合することではないと指摘されている。オープンモデル経済は、推論に対する高い市場需要を持つドメインをコモディティ価格に引き下げ、インテリジェンスの所有を可能にし、社内データへの特化や企業内エージェントの制御を目指す。これには長期間を要し、ベンチマークには部分的にしか反映されていない状況がある。
また、今回の発表では「プライベートベンチマーク」への移行も触れられている。これは、プロンプトを非公開とすることで、オープンラボがベンチマークに合わせた調整（ベンチマックス）を行うことを防ぐ狙いがあるとされる。しかし、これによりコミュニティがベンチマークの問題点を発見し、改善を促す機会が失われる可能性も指摘されている。Anthropic やOpenAIといった主要なクローズドラボは、すでに数ヶ月から数年前からこのようなインデックスを重視しておらず、内部用途や顧客のユースケースに焦点を移している。
参考: Interconnects (Nathan Lambert) (アーカイブ) — 2026年10月28日 21:58 (JST)
原文ハイライト"reflecting real-world usage today:"