ADIndex、疎なアテンションを層適応型で効率化
arXiv cs.LGは2026年11月7日(現地時間)、ジンフェイ・チー (Jin-Fei Qi) 氏らが、トークンレベルの疎なアテンション向けに、適応的かつ蒸留駆動型インデックス手法「ADIndex」を提案したと発表した。既存のDeepSeek Sparse Attention (DSA) において、インデクサーがロングコンテキスト推論時のレイテンシの主要因となり、特に長文コンテキストにおいてはGPUプリフィル時間の50%以上を占めるという課題に対し、このボトルネックを解消する。これにより、大規模言語モデル (LLM) における長文コンテキスト処理の効率と性能向上が期待される。