STEPQuant、デルタルール再帰状態の量子化エラーを効率管理
arXiv cs.CLは2026年9月29日(現地時間)、ビンチェン・ヤオ氏らが線形アテンションの再帰状態における量子化エラーを効率的に管理する新フレームワーク「STEPQuant」に関する論文を発表した。本研究は、肥大化するKVキャッシュに伴う並行サービス提供時のメモリボトルネックを軽減しつつ、モデルの推論精度を維持することを目指すもので、その実用性が注目される。
Tag
#LinearAttention
2 件の関連記事
Tag
2 件の関連記事
arXiv cs.CLは2026年9月29日(現地時間)、ビンチェン・ヤオ氏らが線形アテンションの再帰状態における量子化エラーを効率的に管理する新フレームワーク「STEPQuant」に関する論文を発表した。本研究は、肥大化するKVキャッシュに伴う並行サービス提供時のメモリボトルネックを軽減しつつ、モデルの推論精度を維持することを目指すもので、その実用性が注目される。
Yi Pan、Haocheng Xi、Kan Zhu、Xingyang Li、Yibo Wuら研究者グループは2026年9月29日(現地時間)、大規模言語モデル (LLM) の推論効率を大幅に向上させる新手法「LeapQuant」に関する論文をarXiv cs.LGで公開した。LeapQuantは、Gated DeltaNet (GDN) やKimi Delta Attention (KDA) など線形アテンションを採用するLLMにおいて、8ビット再帰状態量子化下でほぼ無損失の性能を達成する学習不要な手法である。