#量子化関連記事

PagedWeight、MoE LLM推論のGPUメモリを最大72.0%削減

arXiv cs.LGは7月17日(現地時間)、Mixture-of-Experts (MoE) 大規模言語モデル (LLM) の推論効率を大幅に改善する新手法「PagedWeight」を発表した。同技術は、MoE LLM運用における主要課題である、増大するモデルウェイトとKey-Value (KV) キャッシュのGPUメモリ要件に対し、ランタイムでの動的かつ品質を意識したウェイト量子化で対処する。これにより、エキスパートウェイトの精度を維持しつつKVキャッシュサイズを最適化し、全体的なリソース効率を大幅に改善。特に、既存手法と比較してGPUメモリを最大72.0%削減し、スループットを最大1.94倍向上させることが可能と報告されている。

LLM量子化で公平性劣化、新たなバイアス誘発の危険性浮上

Plawan Kumar Rath氏らは2026年5月2日(現地時間)、大規模言語モデル（LLM）の圧縮に用いられる量子化技術が、モデルの公平性を損ない、新たなバイアスを誘発する危険性があるとの研究論文をarXiv cs.LGで公開しました。この研究は、Qwen2.5-7B、Mistral-7B、Phi-3.5-miniの3モデルを対象に、BF16から3ビットまでの5段階の精度レベルで検証を実施。特に3ビット量子化では、これまでバイアスが確認されなかった項目で6～21％のステレオタイプな振る舞いが生じることが判明しました。