Ales Kubicek ら研究チームは2026年10月30日(現地時間)、arXiv cs.AIで、数百万トークン規模の超長文コンテキストに対応する新アテンション手法「Latent Sparse Attention（LSA）」に関する論文を発表した。LSAは、キーを学習された潜在空間で階層的にクラスタリングし、クエリがクラスタ階層にスコアを付けることで、従来の疎なアテンションが抱える計算コストの課題を解決する。これにより、大規模言語モデルのプリフィル、デコード、学習処理の高速化と高精度維持を両立する。
大規模言語モデル（LLM）の能力向上に伴い、処理可能なコンテキスト長は飛躍的に拡大している。しかし、アテンションメカニズムの計算コストは依然として大きな課題だ。特に、数百万トークンを超える超長文コンテキストの処理において、従来のフルアテンション手法はコンテキスト長の二乗に比例する計算量とメモリ消費を伴い、実用上のボトルネックとなっていた。また、既存の疎なアテンション手法も、コンテキストが長くなるにつれて精度が低下する問題や、二次コストの課題を完全に解決できていなかった。
Latent Sparse Attention（LSA）は、これらの課題に対処するために提案された。LSAは、キー情報を学習された潜在空間において階層的にクラスタリングする独自のアプローチを採用する。これにより、クエリはキーの全ペアに対してアテンションを計算する代わりに、潜在空間内のクラスタ階層に対して効率的にスコアを付けることが可能となる。このメカニズムにより、LSAはコンテキスト長に対する計算コストを大幅に削減しながらも、重要な情報を効果的に捉え、精度を維持する。
提案されたLSAには二つの主要なバリアントが存在する。一つはDistilled-LSA（D-LSA）で、既存の事前学習済みモデルに蒸留を通じて適用することを想定している。D-LSAは、GLM-5.3-FLASH（QWEN-3.8-27B）モデルの10Mトークンコンテキストにおいて、アテンション層あたりのプリフィル処理をフルアテンションと比較して72.4倍、D-LSA単体では22.7倍に加速する性能を示した。また、デコード処理に関しても、フルアテンション比で42.5倍、D-LSA単体で4.6倍の高速化を達成しつつ、多様なタスクで元のモデルと同等の精度を維持した。
もう一つのバリアントであるNative-LSA（N-LSA）は、次トークン予測損失のみを用いてゼロから学習される。N-LSAは128kトークンという長いコンテキストにおいて、フルアテンションと同等の高精度を保ちながら、層あたりの学習速度を1.6倍向上させることに成功した。これらの結果は、LSAが超長文コンテキストを活用する上で、計算効率と精度維持の両面で極めて実用的なソリューションであることを示している。
参考: arXiv cs.AI — 2026年10月31日 02:59 (JST)
原文ハイライト"Latent Sparse Attention: Towards Subquadratic Ultra-Long Context"