benchgap.netは2026年11月12日(現地時間)、ソフトウェアエンジニアリングベンチマーク「SWE-bench Pro」の最新リーダーボードを公開した。今回の更新で、Claude Fable 5.2が93.0%のスコアを記録し、トップに立った。続いてGemini 4 Carbonが92.1%で2位、Claude Opus 5.5が89.9%で3位にランクイン。このリーダーボードでは、多数の大規模言語モデル(LLM)の性能が測定または推定スコアとして示されている。
SWE-bench Proリーダーボードの更新により、多数の大規模言語モデル(LLM)がソフトウェアエンジニアリングタスクにおいてどの程度の性能を発揮するかが明確になった。
最新のデータによると、Claude Fable 5.2が測定スコア93.0%を記録し、首位を堅持している。このスコアは、実際にベンチマークテストを通じて直接測定されたものであり、その確実性が示されている。
2位にはGemini 4 Carbonが推定スコア92.1%でランクインした。Gemini 4 Carbonのスコアには±4.2パーセンテージポイント (pp)の誤差範囲が付随し、信頼度はmedium confidence(中程度)とされている。これは、測定値ではなく統計的な推定に基づいていることを意味する。3位にはClaude Opus 5.5が測定スコア89.9%で入った。こちらもClaude Fable 5.2と同様に、直接測定による確かな数値として報告されている。
上位5位までを見ると、4位にはHy4が推定スコア89.1%でランクイン。Hy4の誤差範囲は±7.7 ppと比較的広く、信頼度は「low confidence」(低程度)とされている。5位はGPT-6 Astraで、推定スコア87.7%を記録。GPT-6 Astraの誤差範囲は±4.8 ppで、信頼度は「high confidence」(高程度)となっている。
他にも、上位にはPareto 26.9(85.7%)、Gemini 4 Argon(82.2%)、Claude Sonnet 5.5(81.3%)、Claude Fable 5.1(81.2%)、Muse Wonder Full(80.7%)などのモデルが名を連ねている。
リーダーボードに掲載されているモデルのスコアは、「measured」(測定済み)と「estimated」(推定)の2種類に大別される。測定スコアは実際のベンチマーク実行によって直接得られた結果であり、推定スコアは他のデータや統計モデルに基づいて算出された値である。推定スコアのモデルには、それぞれの誤差範囲(例: ±4.2 pp)と信頼度(high, medium, low confidence)が付記されており、これは測定の精度と結果の確実性を示す重要な指標となっている。
参考: benchgap.net (アーカイブ) — 2026年11月11日 09:00 (JST)