Latent Sparse Attention、数百万トークン対応の長文コンテキスト処理を効率化
Ales Kubicek ら研究チームは2026年10月30日(現地時間)、arXiv cs.AIで、数百万トークン規模の超長文コンテキストに対応する新アテンション手法「Latent Sparse Attention（LSA）」に関する論文を発表した。LSAは、キーを学習された潜在空間で階層的にクラスタリングし、クエリがクラスタ階層にスコアを付けることで、従来の疎なアテンションが抱える計算コストの課題を解決する。これにより、大規模言語モデルのプリフィル、デコード、学習処理の高速化と高精度維持を両立する。