arXiv、LLM長文脈推論のデコーディング効率を大幅改善するCLSA発表
オンラインプレプリントリポジトリarXivは2026年6月4日(現地時間)、大規模言語モデル（LLM）における長文脈推論のデコーディング効率を改善する新手法「cross-layer sparse attention (CLSA)」を提案する論文を公開した。Yutao Sun、Yanqi Zhang、Li Dong、Jianyong Wang、Furu Weiの各氏が発表したCLSAは、KV共有アーキテクチャを基盤とし、複数のデコーダ層間でKVキャッシュとルーティングインデックスを共有することで、推論の主要なボトルネックを改善する。