Scale、ソフトウェア開発向けAI評価基盤「SWE-Bench Pro」を公開
Scaleは2026年11月(現地時間)、AIエージェントのソフトウェアエンジニアリング能力を評価する新たなベンチマーク「SWE-Bench Pro (エスダブリューイーベンチ・プロ)」を公開したとlabs.scale.comが報じた。既存ベンチマークが抱えるデータ汚染やタスク多様性の課題に対応し、より現実世界に近い複雑な問題解決能力を厳密に評価することを目指す。トップモデルは既存のSWE-Bench Verifiedで70%を超える性能を示す一方、SWE-Bench Proの公開セットでは約23%に留まるという。