arXiv cs.CLは2026年10月13日(現地時間)、Minghao LuoとLiang Chenらが執筆した論文を公開した。この論文では、効率的な推論を実現するための学習不要なデコーディング手法「DoubtLess (ダウトレス)」が提案されている。DoubtLessは、より小さな推論モデルを活用し、大規模モデルの思考過程 (CoT) を簡潔に誘導することで、推論効率の向上を目指す。従来のCoT短縮手法に見られた精度低下や追加学習の必要性といった課題を、DoubtLessは回避できるとされている。
DoubtLessは、学習不要なデコーディング手法として、より小さな推論モデルが大規模モデルの思考過程 (CoT) を簡潔にするよう誘導する仕組みを持つ。既存のCoT短縮手法は、モデルごとの追加学習、モデルの隠れ状態への固定ステアリングベクトルの追加、または早期停止や特定の単語禁止といったデコーディングヒューリスティックを用いていた。これらの方法は、精度を低下させる可能性があった。
DoubtLessでは、小さなモデルが大規模モデルのCoTを2度読み込む。一度は簡潔になるよう促され（brief thinker）、もう一度は冗長になるよう促される（verbose thinker）。この2つのロジットベクトルの差分が、特定の強度でスケーリングされ、CoTの各ステップで大規模モデルのロジットに追加される。
競争数学、大学院レベルの科学、競技プログラミングの7つのベンチマークにおいて、DoubtLessはQwen3-32BのCoTを精度を維持したまま31%短縮した。これは、5つの推論時ベースラインを上回る結果である。さらに、自己デバッグコーディングエージェントにおいては、タスクパフォーマンスを維持したまま思考トークン数を20%削減した。DoubtLessは、他の2つのモデルファミリーにも精度を維持したまま適用可能である。また、学習ベースの圧縮手法と組み合わせることで、既に簡潔さのために学習されたモデルのCoTをさらに短縮することが可能である。分析により、DoubtLessは繰り返しの確認を減らし、トークン削減の大部分はCoT内で正しい答えが最初に出現した後に生じることが示されている。
参考: arXiv cs.CL — 2026年10月14日 02:59 (JST)
原文ハイライト"Training-Free Contrastive Decoding for Efficient Reasoning"