リサーチ・論文

ミュア、線形アテンション刷新 長文処理と学習高速化

huggingface.coは2026年11月6日(現地時間)、新しい線形アテンション手法「ミュア (Muir)」を発表しました。この手法は、感度配分型ゲーティングや整合フィルタによる読み出しを共同設計することで、長文処理における効率を高め、モデルの学習速度を向上させることが報告されています。

リサーチ・論文

STEPQuant、デルタルール再帰状態の量子化エラーを効率管理

arXiv cs.CLは2026年9月29日(現地時間)、ビンチェン・ヤオ氏らが線形アテンションの再帰状態における量子化エラーを効率的に管理する新フレームワーク「STEPQuant」に関する論文を発表した。本研究は、肥大化するKVキャッシュに伴う並行サービス提供時のメモリボトルネックを軽減しつつ、モデルの推論精度を維持することを目指すもので、その実用性が注目される。

リサーチ・論文

LeapQuant、LLM線形アテンションの効率を向上する新量子化手法を発表

Yi Pan、Haocheng Xi、Kan Zhu、Xingyang Li、Yibo Wuら研究者グループは2026年9月29日(現地時間)、大規模言語モデル (LLM) の推論効率を大幅に向上させる新手法「LeapQuant」に関する論文をarXiv cs.LGで公開した。LeapQuantは、Gated DeltaNet (GDN) やKimi Delta Attention (KDA) など線形アテンションを採用するLLMにおいて、8ビット再帰状態量子化下でほぼ無損失の性能を達成する学習不要な手法である。