Jiwon Song、Yoongon Kim、Jae-Joon Kimらの研究チームは10月14日(現地時間)、長文コンテキストを持つ大規模言語モデル（LLM）のデコーディングを効率化する新たな疎なアテンション手法「Joint Subspace Sparse Attention (JSSA)」を発表した。この技術は、疎なアテンションが直面する選択品質と実行効率の課題を克服。実験ではフルKVアキュラシーに近い性能を維持しつつ、NVIDIA B200 GPUで最大6.43倍のデコーディングスループットを達成したと報告されている。
JSSAは、長文コンテキストLLMデコーディングにおいて主要なKV-cacheトラフィックを削減する疎なアテンションの課題解決を目指して開発された。具体的には、低次元スコアリングによるクエリ-キー構造の損失と、散在する選択トークンの収集がレイテンシー利点を相殺するという二つの問題に対処する。
選択品質の向上に向け、JSSAはトークンスコア保存エラーを最小化することで共有低次元クエリ-キーサブスペースを学習する。実行効率のためには、標準のgrouped-query attention (GQA) KV-cacheレイアウトの下で、各KVヘッドに固有の選択をサポートする、gather-freeトークンレベルインデックスアテンションカーネルが開発された。
実験の結果、JSSAは標準GQA、ハイブリッドsliding-window/global attention、Multi-head Latent Attention (MLA) モデルにおいて、フルKVアキュラシーに近い性能を維持することが示された。同時に、競合手法で観察された大幅な生成長膨張やアーキテクチャ依存の失敗を回避している。NVIDIA B200 GPUを用いたテストでは、128KコンテキストでフルKVアテンションの最大6.43倍のデコーディングスループットを達成した。
さらに、JSSAはモデル訓練なしで、モデルネイティブのDense Self-Attention (DSA) に匹敵する推論精度を実現する。700Bスケールの大規模モデルにおいても、96～99%のデコーディングスループットを達成している。
参考: arXiv cs.CL (アーカイブ) — 2026年10月15日 13:00 (JST)