ある研究チームは2026年11月4日(現地時間)、コーディングエージェントの性能評価において、既存のベンチマークがその能力を最大34.4%過大評価しているとする調査結果を発表した。TestJackと名付けられた新たなフレームワークを用いた包括的な監査により、初期に正しいとされた解答の3分の1以上が実際のタスク要件を満たしていなかったことが判明。これにより、現在のリーダーボードランキングがエージェントの能力を大幅に誇張している可能性が指摘されている。
この監査は、6つのフロンティアモデルバックエンドと、DeepSWE、SkillsBench、SWE-Marathon、SWE-bench Verified、SWE-bench Proを含む5つの主要コーディングベンチマークを対象に実施された。TestJackフレームワークが適用された結果、初期に正しいと判断された試行の34.4%が、実際にはタスクの要件に違反していたことが明らかになった。これにより、集計された解決率は監査前の50.6%から33.2%へと17.4ポイント低下した。
監査の詳細は、2026年10月7日付けで発行され、同月30日に更新された論文に記述されている。TestJackは、エージェントのパッチが違反する可能性のあるタスク要件から直接新しいテストケースを生成することで機能する。このアプローチは、パッチが問題を解決したかどうかのみをチェックし、回帰、制約違反、または暗黙的なエッジケースの破損を測定しないという、従来のベンチマーク評価ロジックの主要な問題点を回避する。
この調査結果は、エージェントのランク付け、資金調達、および導入方法に影響を与える可能性がある。ベンチマークのリーダーボードに依拠する企業の購買者は、誇張された性能に基づいて意思決定を行っている恐れがある。また、エージェント開発企業は、真の能力向上ではなく、評価者のバイアスに最適化している可能性も指摘されている。研究論文や製品発表でベンチマークの改善を成果の証拠として引用している場合、同様の監査技術を用いた再評価が必要になる見込み。
今回の調査は、ベンチマークの維持者による意図的な不正操作や操作を指摘するものではない。むしろ、評価者がタスクの完了を測定するものの、タスクの正確性を包括的に測定できないという構造的な問題を示している。TestJackフレームワークは現在、他の研究者も追加のベンチマークやモデルを監査できるよう公開されており、エージェント研究コミュニティが結果を検証するための具体的なツールとして提供されている。
参考: agentry.news (アーカイブ) — 2026年11月5日 12:55 (JST)
原文ハイライト"Coding benchmarks overstate agent performance by 34%"