arXiv cs.AIは2026年11月16日(現地時間)、大規模言語モデル (LLM) の推論速度を向上させる新しいアーキテクチャ「DNeo」に関する研究論文を公開した。この新技術は、既存の最先端手法である「DFlash-2」と比較して、生成速度を1.3倍高速化することが報告されている。DNeoは、従来の並列ドラフトモデルにおける特徴エンコーディングの課題解決を目指し、Mixture-of-Features Attention (MoFA) を提案している。

DNeoは、投機的拡散デコーディング (Speculative-diffusion decoding) の効率を改善することを目的としている。このデコーディング手法では、小型の並列ドラフトモデルが生成した候補トークン群を、より大型のターゲットモデルが並行して検証する。このプロセスを通じて、複数のドラフトトークンが同時に検証を通過した場合に、LLMの推論を高速化することが可能となる。

既存の並列ドラフトアーキテクチャとして知られる「DFlash」や「DSpark」といった先行研究は、ターゲットモデルが計算する豊富な特徴量を、特定のエンコーディング機構を通じて条件付けることで、ドラフトの品質を向上させてきた。しかし、これらの標準的な特徴エンコーディング機構には複数の課題が指摘されていた。第一に、残余混合 (residual mixing) と呼ばれる効果により、基盤となるターゲット特徴空間を破壊するエンコーディング投影が適用され、その結果、情報が失われる可能性があった。第二に、以前に処理された提案に関する記録を保持しないため、文脈上の「記憶」が欠如している点。第三に、ターゲット層全体から均一にサンプリングされた特徴を利用する傾向があるため、推論にとって特に重要な隠れ状態の一部が省略される懸念があった。

これらの課題に対処するため、研究チームはMixture-of-Features Attention (MoFA) を考案した。MoFAは、以前に拒否された提案を効率的にエンコードするワーキングメモリを備えた、軽量な特徴エンコーディング手法である。DNeoアーキテクチャは、MoFAとそれに付随する拒否メモリに加え、いくつかの革新的な強化策を統合している。具体的には、より洗練された特徴処理を可能にする2タップ因果畳み込み (2-tap causal convolutions)、特定の文脈に焦点を当てるプレフィックスのみのクロスアテンション (prefix-only cross-attention)、そして推論に最適な情報を選択する非均一なターゲット層選択 (non-uniform target layer selection)が組み込まれている。

これらの技術統合の結果、DNeoはドラフターのフットプリントや最終的な生成品質に悪影響を与えることなく、既存の最先端技術であるDFlash-2と比較して1.3倍高速な生成速度を達成したことが報告されている。


参考: arXiv cs.AI (アーカイブ) — 2026年11月19日 14:00 (JST)

原文ハイライト

"DNeo: Your Parallel Draft Model Needs Better Target Feature Encoding"

この記事をシェア
X はてブ LinkedIn