BenchLM.aiは9月1日(現地時間)、ソフトウェアエンジニアリング作業の評価ベンチマーク「SWE-bench Pro」の最新リーダーボードを公開しました。Anthropicの「Claude Fable 5.1」が81.2%のスコアで首位を獲得し、「Claude Mythos 5」が80.3%で2位、「Claude Fable 5」が80%で3位に続いています。今回の更新では、合計67モデルの評価結果が示されています。
今回のSWE-bench Proリーダーボードは、9月1日(現地時間)時点のデータに基づいており、過去30日間で26件の確認済みリリースを反映しています。トップ3モデルはすべてAnthropic製で、上位モデル間のスコア差は1.2ポイント以内にとどまっています。BenchLM.aiは、現在のフロンティアモデルがベンチマークを飽和させていると考えている、と指摘しています。
SWE-bench Proは、長期的なプロフェッショナルなエンジニアリング作業をテストするために構築されたリポジトリベンチマークです。エージェントにリポジトリと課題を与え、既存の動作を破壊することなく評価テストに合格するパッチを生成することを求めます。
一方で、OpenAIが7月の監査で、SWE-bench Proの「731タスクの公開分割」のうち約30%が破損していると推定し、以前のベンチマーク採用推奨を撤回しています。このため、BenchLM.aiは、SWE-bench Proのスコア単独でコーディングエージェントの購入を決定すべきではないと指摘しています。代わりに、LiveCodeBenchや他のリポジトリ評価、そして特定のワークロードでの試用と併用することを推奨しています。
参考: benchlm.ai (アーカイブ) — 2026年9月1日 09:00 (JST)