arXiv cs.CLは2026年6月23日(現地時間)、大規模言語モデル (LLM) におけるチェイン・オブ・ソート (Chain-of-Thought、CoT) プロンプティングが推論能力を普遍的に向上させるという一般的な仮定に対し、その効果がタスクのシリアル深度に依存することを明らかにした研究結果を報告しました。この研究は、CoTがトランスフォーマーのシングルパス容量を超えるシリアル計算を外部化することで、アーキテクチャ上のボトルネックを回避していると指摘しています。
Tughanbulut Kurtulush氏によるこの調査は、H_dp帯域幅限界 (Chen et al., 2024) の概念的枠組みを通じて行われました。主要な発見として、ベンチマーク内のシリアル深度勾配が示されました。シングルパス (no-CoT) の精度は、項目ごとのシリアル深度が増加するにつれて単調に低下するものの、CoTは深度に対してほぼ不変であることが確認されています。
研究では、Qwen-2.5-7B/32BとLlama-3.1-8Bの3つのinstruction-tunedモデルに対し、GSM8K、MATH、MMLU、ARC、HumanEvalの5つの標準NLPベンチマークでCoTの効果を測定しました。高深度P-完全タスクであるGSM8KとMATHでは、CoTは全モデルで+54から+68 pp (パーセンテージポイント) の回復ギャップをもたらしています。
一方、浅深度TC^0タスクであるMMLUとARCでは、CoTは構造的に冗長であり、効果の差は0.0から+4.6 ppに留まりました。これは、no-CoTベースラインが高い (ARCで最大95%) ことが汚染を反映している可能性も指摘されています。中間クラスLのHumanEvalでは、モデルサイズ依存の移行が見られ、32Bモデルで+23.2 pp、8Bモデルで+9.1 ppの向上があったものの、7Bモデルでは-28.7 ppの性能低下が観測されました。
ベンチマーク間の深度回復相関はSpearman rho = 0.661 (p = 0.007, n = 15) を示し、15のベンチマークレベルMcNemar testsのうち9つはBonferroni correction後も有意でした。これらの結果から、CoTは普遍的な推論強化策ではなく、シングルパス容量に負担をかけるシリアル計算を助ける帯域幅バイパスとして機能し、既に適合しているタスクには冗長であると結論付けられています。
参考: arXiv cs.CL (アーカイブ) — 2026年8月12日 13:00 (JST)
原文ハイライト"CoT is not a universal reasoning enhancer but acts as a bandwidth bypass"