#量子化関連記事

HeadGuard、VLM KVキャッシュ量子化の精度低下を抑制

Nenad Banfic氏らの研究チームは9月18日(現地時間)、低ビットのキーバリュー（KV）キャッシュ量子化におけるビジョン言語モデル（VLM）の精度低下を抑制する新手法「HeadGuard（ヘッドガード）」を発表した。同手法は、既存のKVキャッシュ量子化器に選択的な高精度マスクを組み合わせることで、ストレージ削減と高精度維持の両立を目指す。これにより、AIモデルの効率性と性能向上に貢献する。

リサーチ・論文 8月28日 09:15

LLM推論効率化の新手法「FAMPWQ」登場、適応型量子化で性能向上

論文投稿サイトarXiv cs.LGは8月26日(現地時間)、大規模言語モデル（LLM）の推論効率を大幅に向上させる新たな量子化手法「FAMPWQ (Fisher Information-based Adaptive Mixed Precision Weight Quantization)」に関する研究論文を発表した。本手法は、Fisher情報を用いて各層の量子化感度を測定し、強化学習ベースのビット幅アロケータで最適な重み量子化を適応的に適用することで、汎用GPU環境下でのLLM推論の効率化と性能維持を目指す。

リサーチ・論文 7月21日 00:27

PagedWeight、MoE LLM推論のGPUメモリを最大72.0%削減

arXiv cs.LGは7月17日(現地時間)、Mixture-of-Experts (MoE) 大規模言語モデル (LLM) の推論効率を大幅に改善する新手法「PagedWeight」を発表した。同技術は、MoE LLM運用における主要課題である、増大するモデルウェイトとKey-Value (KV) キャッシュのGPUメモリ要件に対し、ランタイムでの動的かつ品質を意識したウェイト量子化で対処する。これにより、エキスパートウェイトの精度を維持しつつKVキャッシュサイズを最適化し、全体的なリソース効率を大幅に改善。特に、既存手法と比較してGPUメモリを最大72.0%削減し、スループットを最大1.94倍向上させることが可能と報告されている。

リサーチ・論文 5月18日 20:21

LLM量子化で公平性劣化、新たなバイアス誘発の危険性浮上

Plawan Kumar Rath氏らは2026年5月2日(現地時間)、大規模言語モデル（LLM）の圧縮に用いられる量子化技術が、モデルの公平性を損ない、新たなバイアスを誘発する危険性があるとの研究論文をarXiv cs.LGで公開しました。この研究は、Qwen2.5-7B、Mistral-7B、Phi-3.5-miniの3モデルを対象に、BF16から3ビットまでの5段階の精度レベルで検証を実施。特に3ビット量子化では、これまでバイアスが確認されなかった項目で6～21％のステレオタイプな振る舞いが生じることが判明しました。