Yining Huaは2026年11月17日(現地時間)、学術リポジトリarXivに、コーディングモデルのベンチマークスコア向上と開発者の実作業量との関係を検証する論文を投稿した。論文は、ベンチマークで高スコアを記録するモデルが、実世界の開発者の生産性向上に統計的に有意な影響を与えない可能性を示唆した。この研究は、ベンチマークスコアの向上を謳う新たなコーディングモデルが実際の開発作業量を増やすかという問いに対し、実証的な知見を提供するものとなった。

研究チームは、2026年6月12日に発生した米国による輸出規制指令をきっかけに生じた、コーディング支援モデルClaude Fable 5 (クロード・フェイブル5)への19日間のアクセス禁止を自然実験として利用した。この措置により、開発者やプロジェクトの構成自体は変わらないまま、利用するモデルのみが切り替わる状況が生まれ、Claude Fable 5が開発者の生産性に与える影響を他の要因から分離して検証できる環境が整ったとしている。

禁止期間中、Claude Fable 5の元ユーザーの大半はOpus 4.8に移行した。Opus 4.8はSWE-Bench ProにおいてClaude Fable 5より11ポイント低いスコアを記録していたモデルである。研究チームは、禁止前・禁止期間中・禁止後の3期間にわたり、297人のClaude Fable 5ユーザーのGitHubプルリクエストを追跡した。対照群には、常にOpus 4.8を利用し続けた8,908人の開発者のデータを用いた。加えて、2026年に実施された5回のモデルアップグレードの前後についても同様の比較分析を繰り返し、1,208人の開発者による15,442件のプルリクエストを対象とした。

開発者と日付の固定効果を組み込んだ差の差分析の結果、Claude Fable 5へのアクセスがあった場合でも、7日間のプルリクエストマージ率の増加は1.4ポイントにとどまり、統計的に有意な差は確認されなかった(95%信頼区間:-1.4~+4.3)。モデルアップグレードについても、マージ率の有意な増加は見られず、加重平均は-0.9ポイントだった(95%信頼区間:-1.9~+0.2)。5件の推定値はいずれも負の値を示し、信頼区間はすべて0を含んでおり、推定値同士に有意な差もなかった。週あたりのプルリクエストマージ件数は2.4%の増加が見られたものの(95%信頼区間:-4.9%~+10.2%)、これも統計的に有意な水準には達しなかった。


参考: arXiv cs.SE — 2026年11月18日 03:56 (JST)

原文ハイライト

"Higher-Scoring Coding Models Did Not Get More Work Done"

この記事をシェア
X はてブ LinkedIn