Replitは2026年10月28日(現地時間)、長期間にわたるソフトウェア開発に特化したベンチマーク「ViBench 2.0」を公開した。これは、オープンウェイトモデルの推論とトレーニングにおける同社のパートナーであるFireworksのSpecialized Intelligence Index (SII) に加わる。ViBench 2.0では、エージェントが既存のコードベース内で定義されたタスクではなく、空のプロジェクトから製品全体を構築していく。
ViBench 2.0は、Uber、GitHub、Google Docsのような製品をモデルにしている。合計で17の製品、241の機能リクエスト、544のテスト計画で構成される。エージェントは与えられた短い仕様から製品の最初のバージョンを構築し、その既存コードの上に最大18の機能を追加する。この設計により、エージェントは次に何が来るかを知る前にスキーマとルートを選択することを強いられ、後の機能が難しくなる可能性がある。
最上位モデルであるGPT-6.1 Sol、GPT-6 Astra、Opus 5.5でも、全てのテスト計画をパスしたビルドは全体の49%から65%にとどまる。これらのモデルは90%以上のテスト計画をパスするものの、失敗したビルドのほとんどは少数の計画を達成できていない。
ViBench 2.0の公式結果はFireworksが実行したもので、各モデルにつき17製品の4ビルドを同じハーネスと設定で実施した。Pass@1（全てのテスト計画をパスしたビルドの割合）ではGPT-6.1 Solが65%でリードし、GPT-6 Astraが60%、Opus 5.5が49%と続いた。ビルドあたりのコストはGPT-6.1 Solが約12ドル、GPT-6 Astraが約90ドルである。Opus 5.5は平均約70分でビルドを完了し、GPT-6.1 Solよりも約2.5倍高速だった。
Replitが独自に実行したテストでは、GPTモデルの世代間でスコアが向上していることが示された。GPT-5.4はPass@1が0%だったのに対し、GPT-6 Solは31%、GPT-6.1 Solは53%に上昇した。最上位モデルでさえ、実際のエンドユーザーが直面するような小さな詳細部分で失敗することが多く、特に機能間の連携部分でビルドが失敗するケースが、失敗したビルド全体の約4分の3を占めている。
参考: Replit Blog (アーカイブ) — 2026年10月29日 03:50 (JST)