LeapQuant、LLM線形アテンションの効率を向上する新量子化手法を発表
Yi Pan、Haocheng Xi、Kan Zhu、Xingyang Li、Yibo Wuら研究者グループは2026年9月29日(現地時間)、大規模言語モデル (LLM) の推論効率を大幅に向上させる新手法「LeapQuant」に関する論文をarXiv cs.LGで公開した。LeapQuantは、Gated DeltaNet (GDN) やKimi Delta Attention (KDA) など線形アテンションを採用するLLMにおいて、8ビット再帰状態量子化下でほぼ無損失の性能を達成する学習不要な手法である。