ベンダー・製品

Scale、ソフトウェア開発向けAI評価基盤「SWE-Bench Pro」を公開

Scaleは2026年11月(現地時間)、AIエージェントのソフトウェアエンジニアリング能力を評価する新たなベンチマーク「SWE-Bench Pro (エスダブリューイーベンチ・プロ)」を公開したとlabs.scale.comが報じた。既存ベンチマークが抱えるデータ汚染やタスク多様性の課題に対応し、より現実世界に近い複雑な問題解決能力を厳密に評価することを目指す。トップモデルは既存のSWE-Bench Verifiedで70%を超える性能を示す一方、SWE-Bench Proの公開セットでは約23%に留まるという。

ベンダー・製品

Scale、AIコード評価の新ベンチマーク「SWE-Bench Pro」リーダーボードを公開

Scaleは2026年10月3日(現地時間)、AIエージェントのソフトウェアエンジニアリングタスク評価用ベンチマーク「SWE-Bench Pro」のリーダーボードを公開した。既存ベンチマークのデータ汚染やタスク多様性不足といった課題に対応するため開発され、現実世界の開発環境を反映した厳格な評価を提供する。この新ベンチマークでは、従来のSWE-Bench Verifiedで70%以上のスコアを記録した主要モデルが、約23%に留まるなど、AIモデルの性能に大きな差が生じている。非公開のプロプライエタリコードベースを含むプライベートサブセットでは、さらに解決率が低下することも明らかになった。