arXiv cs.LGは2026年11月7日(現地時間)、ジンフェイ・チー (Jin-Fei Qi) 氏らが、トークンレベルの疎なアテンション向けに、適応的かつ蒸留駆動型インデックス手法「ADIndex」を提案したと発表した。既存のDeepSeek Sparse Attention (DSA) において、インデクサーがロングコンテキスト推論時のレイテンシの主要因となり、特に長文コンテキストにおいてはGPUプリフィル時間の50%以上を占めるという課題に対し、このボトルネックを解消する。これにより、大規模言語モデル (LLM) における長文コンテキスト処理の効率と性能向上が期待される。
ADIndexは、大規模言語モデルにおける長文コンテキストの処理効率を劇的に向上させることを目的として開発された。この手法は主に三つの革新的なコンポーネントを統合している。第一に、クロス・クエリ検索における重複に適応する層ごとのキャリブレーション戦略を採用。これにより、各層でアテンショントークンのインデキシングを最適化し、不必要な計算を削減する。
第二に、効率的に層ごとのグループインデクサーを学習させるグループレベルの蒸留スキームを導入。これは、より大きな事前学習済みアテンションから知識を蒸留することで、軽量かつ効率的なインデクサーの生成を可能にする。このプロセスにより、インデクサー自体が推論のボトルネックになることを防ぐ。
第三に、クエリグループ内でのトークンバンク共有を通じて反復的なフルプレフィックススキャンを削減する低レイテンシ推論戦略を実装。この戦略は、複数のクエリ間で共通のトークンインデックスを再利用することで、計算コストを大幅に削減し、特にデコーディング段階での速度向上に寄与する。
ADIndexの有効性は、DeepSeek-V3.2およびGLM-5.1といった主要な大規模言語モデルを用いた広範な実験で検証された。LongBench、LongBench v2、RULERといった複数の著名なベンチマークにおいて、ADIndexは既存の密なアテンションモデルと比較してほぼロスレスなタスク性能を維持しつつ、DeepSeek Sparse Attention (DSA) に対しても大幅な効率向上を実現した。これは、ADIndexが性能を犠牲にすることなく、計算効率を高める能力を持つことを示している。
具体的な結果として、256Kのコンテキスト長において、層ごとの再利用構成でプリフィル (prefill) およびデコーディングカーネル (decoding kernel) の速度がそれぞれ最大6.22倍、3.40倍に向上した。さらに、128Kのコンテキスト長ではエンドツーエンドのサービス速度が1.54倍向上したことが報告されている。これらの数値は、特に非常に長いシーケンスを扱う際のADIndexの顕著な優位性を裏付けている。提案された手法は、LLMがより複雑で広範なコンテキストを効率的に処理できるようになるための重要な一歩となる。
参考: arXiv cs.LG (アーカイブ) — 2026年11月11日 14:00 (JST)