AMTP、言語モデルのデコーディングを最大4.1倍高速化
arXiv (アーカイヴ) は2026年10月20日(現地時間)、言語モデルのデコーディングを高速化する新たな手法「Adaptive Multi-Token Prediction (AMTP)」に関する研究論文を公開したと発表しました。本手法は、Multi-token prediction (MTP) における最適な予測範囲の動的な選択をオンライン制御問題として定式化。再学習や既存検証器の変更が不要な軽量コントローラーとして設計されています。Llama-3.1-8B-Instructなどを活用した評価では、標準デコーディングと比較して最大4.1倍の高速化を達成し、固定ウィンドウMTP設定の10例中8例で同等以上の性能を示しました。