arxiv.orgは8月3日(現地時間)、論文「LongCat Sparse Attention: Taming the Lightning via Streaming-aware Hierarchical Cross-Layer Indexing」を発表した。同論文は、大規模モデルの計算量とメモリ効率を大幅に改善する「ロングキャット・スパース・アテンション (LongCat Sparse Attention, LSA)」を提案。LSAは、従来のディープシーク・スパース・アテンション (DeepSeek Sparse Attention, DSA) が抱える$O(L^2)$のスコアリングオーバーヘッドや非効率なメモリアクセスといったシステムレベルの課題を解決し、ハードウェアとアルゴリズムを共同設計したフレームワークにより大規模モデルの効率的な運用を目指す。
ロングキャット・スパース・アテンション (LSA) は、三つの補完的かつ独立した戦略で構成されている。
一つ目はStreaming-Aware Indexing (ストリーミング対応インデックス作成)である。これは、散在するキー・バリュー (KV) エントリーを選択的にハードウェアに適合した連続的なレイアウトに変換し、HBMへの結合されたアクセスを可能にする。
二つ目はCross-Layer Indexing (クロスレイヤーインデックス作成)である。これは、単一のレイヤーで生成された結果を連続するレイヤー間で再利用することで、インデックス作成のオーバーヘッドを償却する。このプロセスはクロスレイヤー蒸留によってサポートされる。
三つ目はHierarchical Indexing (階層的インデックス作成)である。これは、粗から密へのスコアリングスキームを採用し、各クエリの候補セットを段階的に絞り込むことで、インデックス計算を大幅に削減する。
69B-A3Bから560B-A27Bモデルに及ぶ広範なスケーリング実験により、LSAは汎用ベンチマークと長文脈ベンチマークの両方で、フルアテンションと同等の性能を安定して達成することが示された。LSAは最大100万トークンの文脈長でのネイティブトレーニングをサポートしており、LongCat-2.0 (1.6T-A48B) の開発基盤となっている。
さらなる研究を促進するため、LongCat-Flash-LiteにLSAを統合し、更新された長文脈トレーニングコーパスを組み込んだLongCat-Flash-Lite-Sparse (69B-A3B)もオープンソースとして公開されている。
原文ハイライト"LongCat Sparse Attention: Taming the Lightning via Streaming-aware Hierarchical Cross-Layer Indexing"