arXiv (アーカイヴ) は2026年10月20日(現地時間)、言語モデルのデコーディングを高速化する新たな手法「Adaptive Multi-Token Prediction (AMTP)」に関する研究論文を公開したと発表しました。本手法は、Multi-token prediction (MTP) における最適な予測範囲の動的な選択をオンライン制御問題として定式化。再学習や既存検証器の変更が不要な軽量コントローラーとして設計されています。Llama-3.1-8B-Instructなどを活用した評価では、標準デコーディングと比較して最大4.1倍の高速化を達成し、固定ウィンドウMTP設定の10例中8例で同等以上の性能を示しました。
Adaptive Multi-Token Prediction (AMTP) は、デコーディングプロセスで複数のトークンを一括してドラフトし、単一のターゲットモデルパスで検証するMulti-token prediction (MTP) 手法の課題改善を目指しています。従来のMTPでは、コンテキストによって最適な投機的ホライズン（予測範囲）が変動するにもかかわらず、ドラフト前にホライズンを固定する必要がありました。長いドラフトは信頼性が高い場合に大きな償却効果をもたらしますが、拒否された場合には計算リソースが無駄になるリスクがありました。
AMTPはこのホライズン選択問題をオンライン制御問題として解決します。検証フィードバックを利用し、各コンテキストにおいてドラフトの信頼性を学習。各ラウンド開始前に、AMTPはドラフトがどの程度存続するかを予測し、acceptance survival（ドラフトプレフィックスが完全に受け入れられる確率）を通じて、秒あたりの期待トークン数が最も高くなるホライズンを選択します。このアプローチにより、オンライン学習器の予測エラーがスループットの「regret」（損失）に変換され、ウォールクロック完了時間の上限となることが理論的に示されています。オンライン勾配降下法を用いることで、このregretは劣線形となります。
具体的な評価は、Llama-3.1-8B-Instruct（Medusa headsと組み合わせたもの）、Meta (メタ) のMTPモデル、Qwen3-4B-Inst-2507-MTPを含む5つのドラフトとターゲットモデルの組み合わせで実施されました。AIME 2025およびGSM8Kのデータセットで評価された結果、AMTPは標準デコーディングと比較して最大4.1倍の高速化を実現しました。また、固定ウィンドウMTPの10設定中8設定で性能を上回るか同等であり、スループットの向上は最大で10%に達しました。本論文の著者はEmile Anand氏、Mohammed Rehan Parwani氏、Xinyuan Cao氏です。
参考: arXiv cs.AI — 2026年10月21日 02:56 (JST)