JSSA、長文LLMデコーディング効率を最大6.43倍向上
Jiwon Song、Yoongon Kim、Jae-Joon Kimらの研究チームは10月14日(現地時間)、長文コンテキストを持つ大規模言語モデル（LLM）のデコーディングを効率化する新たな疎なアテンション手法「Joint Subspace Sparse Attention (JSSA)」を発表した。この技術は、疎なアテンションが直面する選択品質と実行効率の課題を克服。実験ではフルKVアキュラシーに近い性能を維持しつつ、NVIDIA B200 GPUで最大6.43倍のデコーディングスループットを達成したと報告されている。