arXivが2026年11月3日(現地時間)に公開した論文「Adversarial Speculative Reasoning Improves Long Horizon Agents」は、長期間にわたる推論を行うエージェントの精度を向上させる新たな手法を提案した。この研究は、大規模言語モデルのデコーディング速度最適化とされてきた推測デコーディングが、エージェント推論においてはモデルの動作に影響を与えうると指摘。新たなアプローチにより、ターゲットモデルの推論能力を向上させるとしている。
従来、推測デコーディングは、大規模言語モデルのデコーディング速度を向上させるシステム最適化と認識されてきた。しかし、同論文の著者らは、この見解が長期間エージェントの推論には当てはまらないと主張している。複雑なエージェントタスクにおけるフロンティアオープンウェイトモデルの測定から、検証ウィンドウ内で数値ノイズが増大し、思考プロセスのドラフト受理結果が30ステップ後にはモデルの出力分布を変化させ、長期間エージェントの推論精度に影響を与えることが判明した。
本研究では、この数値ノイズを制御することでターゲットモデルの推論能力を改善する。著者らは、ドラフトモデルを意図的に拒否されるように訓練することで、重要な推論を最高精度でエンコードする手法を開発した。推論時において、訓練されたドラフトとターゲットモデルはこれらの決定点で分岐し、検証が再開される。これにより、クリティカルな思考トークンがターゲットモデルから最もノイズの少ない条件下でサンプリングされる仕組みである。
この「敵対的推測推論」と称されるアプローチは、複雑なエージェントコーディングベンチマークにおいて、ターゲットモデルやその出力分布に一切変更を加えることなく、エンドツーエンドの成功率を向上させた。同研究は、ホストされたパラメータの0.06%から0.28%を訓練するだけで、推測デコーディングメカニズムを純粋なアクセラレーターからコンテキスト精度のアクティブなアロケーターへと再定義し、長期間エージェントの精度を向上させるものとしている。
参考: arXiv cs.AI (アーカイブ) — 2026年11月4日 03:45 (JST)
原文ハイライト"We argue that this view does not hold true for long-horizon agent reasoning."