エポックAI (Epoch AI) は5月29日(現地時間)、オープンウェイトモデルが最先端のクローズドモデルに対し、平均4ヶ月、8 ECIポイントの遅れをとっているとの分析結果を発表しました。同社が独自に集計する「エポック能力指数 (ECI)」に基づく調査で、この遅延は2025年10月時点での3ヶ月から拡大しています。
エポックAIが2026年1月1日から2026年5月28日までを分析期間として実施した調査では、最も高性能なオープンウェイトモデルがフロンティアのクローズドモデルに平均で4ヶ月遅れていることが明らかになりました。平均ECIギャップは8ポイントに達し、これはGPT-5とGPT-5.5間の性能差に匹敵する規模とされています。
エポック能力指数 (ECI) は、複数のベンチマークにおけるモデルの性能を包括的に測定する複合指標です。平均時間差の算出にあたっては、日ごとの分析を通じて、各日付で利用可能な最高ECIスコアを持つオープンウェイトモデルを特定し、過去の最先端ECIフロンティアと比較されました。ECIスコアの不確実性を考慮し、ブートストラップサンプルを用いた比較手法が採用されています。
エポックAIは、この推定値がオープンモデルとクローズドモデル間の実際のギャップを過小評価している可能性のある二つの要因を指摘しています。一つ目は、オープンウェイトモデルが公開ベンチマークでより積極的に「hillclimb」するため、プライベートベンチマークではクローズドモデルよりも性能が低い傾向があること。二つ目は、主要なクローズド研究機関が、安全性、商業、または競争上の理由から、最も高性能なモデルを常に公開しているわけではないため、ECIを割り当てるのに十分な公開ベンチマークカバレッジを持つモデルのみが分析に含まれている点です。