arXiv cs.LGは2026年7月23日(現地時間)付けで、機械学習分野の論文「Windowed-MTP: Removing the Full-Context Draft-KV Tax at Million-Token Context」を公開した。この論文は、大規模言語モデルの自動回帰生成を加速する投機的デコーディングにおいて、既存のMulti-Token-Prediction (MTP) ドラフトヘッドが抱えるフルコンテキストでの計算コスト問題を解決する新手法「Windowed-MTP」を提案している。これにより、million-tokenコンテキストでのデコードステップあたりのコストを最大44%削減したと報告された。
投機的デコーディングは、安価なドラフトモデルがトークンを提案し、ターゲットモデルが並行して検証することで、自動回帰生成を加速する手法である。しかし、多くのモデルに組み込まれているMTPドラフトヘッドは、million-tokenコンテキストのような長大なコンテキストにおいて、ドラフトステップごとにKVキャッシュ全体にフルアテンションを実行するため、その読み出しコストが線形に増大し、ドラフトの総コストを支配する問題があった。これにより、投機的デコーディングの恩恵が薄れる場合があった。
Alagappan Valliappanが提案するWindowed-MTPは、この問題に対処するため、ドラフトのアテンションにのみStreamingLLM-styleのsliding windowとattention sinkを適用する。この手法はトレーニング不要で、既存システムへの導入が容易であり、また本質的に情報損失がない。フルアテンションを行うターゲットモデルは受理される全てのトークンを決定し続けるため、Windowed-MTPは提案されるトークンのみを変更し、最終的に受理されるトークンには影響を与えない。このアプローチにより、ドラフトのKVワーキングセットが定数に制限され、1M (100万) トークンコンテキストにおいてKVエントリの約99%を削減する効果が示されている。
SGLang環境における単一GPUでの実証実験では、Qwen GDN-MoE 35B/122BおよびMamba2-hybrid NoPE 120Bの3つのアーキテクチャファミリーにおいて、1Mコンテキストでのデコードステップあたりのコストが、従来のMTPドラフトと比較して28%から44%削減された。この改善幅は入力によらず、コンテキストが長くなるほど拡大する。また、未使用のドラフトKVの7.7%から11%は、コンパクトなリングバッファを通じて再利用可能であり、受理率や品質に影響を与えないと報告されている。
参考: arXiv cs.LG (アーカイブ) — 2026年7月24日 02:21 (JST)
原文ハイライト"It is training-free, drop-in, and lossless by construction"