BenchLM.aiは8月2日、SWE-bench Proリーダーボードの最新版を公開した。AnthropicのClaude Mythos 5が80.3%で首位に立ち、Claude Fable 5（80%）とClaude Opus 5（79.2%）が続く。55モデルを追跡する同リーダーボードで上位スコアは1.1ポイント以内に集中しており、差別化が困難になりつつある可能性がある。OpenAIが2026年7月に実施した監査では公開スプリット731タスクの約30%に破損の疑いがあるとされ、同社はベンチマーク採用の推奨を撤回した。
ベンチマークの構成
SWE-bench Proは現実のソフトウェアエンジニアリング作業を対象とした長期型リポジトリベンチマークである。エージェントはリポジトリと課題を受け取り、既存の挙動を破壊せずに評価テストを通過するパッチを生成することが求められる。公開（public）・保留（holdout）・商用（commercial）の3スプリットを含む41のリポジトリから収集された1,865の課題で構成されており、実際の開発現場に近い条件での性能測定を目的としている。
スコア分布と飽和傾向
8月2日付けのリーダーボードではAnthropicの3モデルが上位を独占した。Claude Mythos 5が80.3%で首位、Claude Fable 5が80%、Claude Opus 5が79.2%と続く。追跡する55モデル全体では上位グループのスコアが1.1ポイント以内に密集しており、フロンティアモデル群においてSWE-bench Proが飽和状態に近づいている可能性を示唆するとみられる。スコアの接近により、ベンチマーク上の数値が実際の実装能力の差を反映しにくくなっている可能性もある。
OpenAI監査とベンチマークの信頼性
OpenAIが2026年7月に実施した監査では、公開スプリットを構成する731タスクのうち約30%に破損の可能性があると推定された。この結果を受け、OpenAIは以前に表明していたベンチマーク採用の推奨を撤回している。
BenchLM.aiは、現行スコアは公開された評価結果として参照価値を持つとしながらも、コーディングエージェントの調達判断をスコア単独で下すべきではないと指摘する。SWE-bench ProはLiveCodeBenchや他のリポジトリ評価、および特定ワークロードでの試用と組み合わせて活用することが推奨されている。
参考: benchlm.ai — 2026年8月2日 09:00 (JST)