AdamWオプティマイザの4ビット量子化を再設計、検証損失ギャップ最大70%削減
Hanyang Liら研究チームは2026年10月8日(現地時間)、機械学習研究論文を扱うarXivにて、AdamWオプティマイザの4ビット状態量子化を再設計した手法を発表した。この研究は、量子化誤差が後続のアダプティブ更新に伝播する課題に対し、「rounding space」の観点から最適化ダイナミクスを分析し、新しい量子化手法を提案している。
Tag
#Quantization
5 件の関連記事
LeapQuant、LLM線形アテンションの効率を向上する新量子化手法を発表
Yi Pan、Haocheng Xi、Kan Zhu、Xingyang Li、Yibo Wuら研究者グループは2026年9月29日(現地時間)、大規模言語モデル (LLM) の推論効率を大幅に向上させる新手法「LeapQuant」に関する論文をarXiv cs.LGで公開した。LeapQuantは、Gated DeltaNet (GDN) やKimi Delta Attention (KDA) など線形アテンションを採用するLLMにおいて、8ビット再帰状態量子化下でほぼ無損失の性能を達成する学習不要な手法である。
MoEモデル量子化ダメージ、経路フリップの検出と修復課題を提示
パーヴェル・グー (Parvel Gu) は7月14日(現地時間)、arXiv cs.AIで論文を公開し、Mixture-of-Experts (MoE) ルーティングの不連続性が、4ビットKVキャッシュの量子化によって引き起こされる「フリップ」現象を明らかにした。このフリップはトークンを決定境界を越えさせ、エキスパートの活性化を反転させる。本研究は新たな緩和策を提案するものではなく、因果関係の解明、経験的発見、および検出限界に関する結果を提供している。
QFedPolyp、ポリープセグメンテーション向け連合学習フレームワークを提案
マダン・バドゥワル (Madan Baduwal) 氏とプリヤンカ・ポウデル (Priyanka Paudel) 氏らは7月22日(現地時間)、ポリープセグメンテーションのための通信・推論効率の高い連合学習フレームワーク「QFedPolyp (キュフェドポリープ)」を提案した。このフレームワークは、機密性の高い医療データのプライバシーを保護しつつ、通信オーバーヘッドの削減と推論速度の向上を実現する。
KVarN、KV-キャッシュ量子化で新SOTA樹立 推論タスク誤差を抑制
arxiv.orgは6月2日(現地時間)、Lorenz K. Muller氏らが発表した論文で、大規模言語モデル (LLM) の推論タスクにおけるKV-キャッシュ量子化の新手法「KVarN」が提示されたと報じた。このキャリブレーション不要の手法は、自己回帰デコーディング中の量子化誤差蓄積を抑制する。MATH500、AIME24、HumanEvalなどの生成ベンチマークでは、2ビット精度での新たなState-of-the-Art (SOTA) を確立した。