BenchLM.aiは2026年8月1日(現地時間)、ソフトウェアエンジニアリングタスクの評価ベンチマーク「SWE-bench Pro」の最新結果を公開した。AnthropicのClaude Mythos 5が80.3%のスコアでリーダーボードの首位を獲得し、Claude Fable 5が80%、Claude Opus 5が79.2%で続いた。計55モデルが評価対象となった。
AnthropicのClaude Mythos 5がSWE-bench Proのリーダーボードで80.3%を記録し、他の追随を許さない結果となった。Claude Fable 5が80%で2位、Claude Opus 5が79.2%で3位に位置する。上位モデルのスコアは1.1ポイント以内に集中しており、最先端モデルがベンチマークの飽和状態に近づいている可能性が示唆されている。
SWE-bench Proは、現実的なソフトウェアエンジニアリング作業をテストするために構築された長期間のリポジトリベンチマークである。エージェントにリポジトリと課題を与え、既存の動作を壊さずに評価テストに合格するパッチを生成することを求める。しかし、OpenAIは2026年7月の監査で、公開タスクの約30%に問題があると推定し、以前のベンチマーク採用推奨を撤回した。このため、SWE-bench Proのスコアは、コーディングエージェントの採用決定において単独の根拠とすべきではないとされている。LiveCodeBenchなどの他のリポジトリ評価や特定のワークロードでの試用と併用することが推奨されている。
SWE-bench Proは、BenchLM.aiの全体的なスコアリングシステムにおいて、Codingカテゴリの一部を構成しており、このカテゴリは全体の20%の重みを持つ。SWE-bench Proはこのカテゴリ内で10%のスコア貢献度を持ち、モデルの全体ランキングに直接影響を与える。
参考: benchlm.ai (アーカイブ) — 2026年8月2日 09:00 (JST)