コーディングベンチマーク、エージェント性能を最大34%過大評価の可能性
ある研究チームは2026年11月4日(現地時間)、コーディングエージェントの性能評価において、既存のベンチマークがその能力を最大34.4%過大評価しているとする調査結果を発表した。TestJackと名付けられた新たなフレームワークを用いた包括的な監査により、初期に正しいとされた解答の3分の1以上が実際のタスク要件を満たしていなかったことが判明。これにより、現在のリーダーボードランキングがエージェントの能力を大幅に誇張している可能性が指摘されている。