ヤン・オウヤン (Yang Ouyang) 氏とジョンウン・キム (Jung-Eun Kim) 氏の研究チームは2026年11月5日(現地時間)、大規模言語モデル (LLM) の推論プロセスにおいて効率性を飛躍的に向上させる新たなリサンプリング手法「ステップバック (StepBack)」を発表した。この新手法は、高い精度で知られる自己無撞着性 (Self-consistency, SC) 戦略の有効性を維持しながら、推論デコーディング時のトークン利用量を最大41.26%削減できることを示した。これは、LLM運用における計算コストと環境負荷の低減に大きく貢献する成果である。
大規模言語モデル (LLM) の推論能力向上に不可欠な自己無撞着性 (Self-consistency, SC) は、思考の連鎖 (CoT) 推論を改善する上で広く採用されているデコーディング戦略の一つである。しかし、SCは、事前に設定された計算予算内で多数の完全な推論軌道をサンプリングする必要があり、そのため多大なトークン利用量と計算コストが発生するという課題を抱えている。これまで、その効率的な変種は、主に全軌道サンプリングを早期に停止するか、質問ごとにサンプル数を適応的に分散させることでコスト削減を図ってきた。
今回、ヤン・オウヤン氏とジョンウン・キム氏らによって提案されたステップバック (StepBack) は、テスト時の推論をより効率的に実行するための、ステップレベルでのエラー局所化リサンプリング手法である。この手法は、まず、少数かつ多様な下書き推論軌道の群を生成する。次に、これらの軌道に含まれる可能性のある最初の誤り位置を、軽量な信号を用いて特定する。この信号は、各推論ステップの信頼性や整合性を評価するために使用され、比較的計算コストが低いのが特徴である。誤り位置が特定された後、検出された誤りのステップから始まる接尾辞部分を効率的にリサンプリングする。最後に、複数のリサンプリングされた軌道から多数決に基づいて最終的な回答を投票決定することで、堅牢な結果を導き出す。
このステップバックの有効性は、多岐にわたるベンチマークで実証された。具体的には、7つの数学的推論およびマルチホップQAベンチマークにおいて、既存のSC戦略と同等レベルの平均精度を維持することが確認されている。さらに、最も注目すべき成果として、推論デコーディング時のトークン利用量が最大41.26%削減されることが示された。これは、LLMの運用コスト削減と環境負荷低減に大きく貢献する可能性を秘めている。研究では、ステップバックをAdaptive Consistencyのような適応型推論手法と組み合わせることで、推論時の効率をさらに向上させることが可能であることも示されている。
参考: arXiv cs.AI (アーカイブ) — 2026年11月6日 03:12 (JST)
原文ハイライト"StepBack: Step-Level Error-Localized Resampling for Efficient Test-Time Reasoning"