Scaleは2026年11月(現地時間)、AIエージェントのソフトウェアエンジニアリング能力を評価する新たなベンチマーク「SWE-Bench Pro (エスダブリューイーベンチ・プロ)」を公開したとlabs.scale.comが報じた。既存ベンチマークが抱えるデータ汚染やタスク多様性の課題に対応し、より現実世界に近い複雑な問題解決能力を厳密に評価することを目指す。トップモデルは既存のSWE-Bench Verifiedで70%を超える性能を示す一方、SWE-Bench Proの公開セットでは約23%に留まるという。
SWE-Bench Proは、消費者向けアプリケーション、B2Bサービス、開発者ツールなど、多様で複雑な41のコードベースから合計1865のタスクを抽出する。これにより、AIエージェントの現実世界における問題解決能力を厳密に評価することを目指している。データ汚染のリスクを低減するため、公開および保留されたオープンソースのサブセットにはGPL (ジーピーエル) のような強力なコピーレフトライセンスが適用され、プライベートサブセットにはスタートアップパートナーのプロプライエタリなコードベースが使用されている。
ベンチマークの問題は、リポジトリの選定、再現可能なDocker (ドッカー) ベースの環境構築、コミットのスクレイピングによる問題抽出、人間による問題記述の精緻化という4段階のワークフローで作成される。主要評価指標は「Resolve Rate」で、提出されたコードパッチが特定のバグを修正し（Issue Resolution）、既存機能を損なわないこと（No Regressions）という厳格な二つの条件を満たした場合にのみタスクが解決されたとみなされる。
データセットは、731のインスタンスを含む公開セット、18のプライベートコードベースからの276インスタンスを含むプライベートセット、そして将来の分析用に858インスタンスが保留されているHeld-out Setの三つのサブセットで構成される。
評価の結果、従来のSWE-Bench Verifiedと比較してSWE-Bench Proでは全てのモデルで性能が大幅に低下した。OpenAI GPT-5は公開セットで23.3%、Claude Opus 4.1は公開セットで23.1%のスコアを記録した。特にプライベートサブセットではさらに困難さが増し、Claude Opus 4.1は17.8%、OpenAI GPT-5は14.9%へと性能が低下している。一方で、OpenAI GPT-5やClaude Opus 4.1といった最新のフロンティアモデルは、OpenAI GPT-4o（4.9%）やQwen-3 32B（3.4%）のような旧世代モデルを大きく上回る性能差を示した。
参考: labs.scale.com (アーカイブ) — 2026年11月8日 04:15 (JST)