Dayou Du氏ら研究者チームは2026年11月6日(現地時間)、大規模言語モデル (LLM) におけるFP4キーバリュー (KV) キャッシュのデコード精度と効率を向上させる新たな手法「BitDecoding-FP4」を発表した。この手法は、アルゴリズムとシステムを協調設計することで、既存のFP4 KVシステムにおける深刻な精度低下と、精度重視アルゴリズムで発生するデコードスループットの劣化という二つの課題を解決する。
BitDecoding-FP4は、長文脈LLMの提供においてメモリ容量と帯域幅を支配するKVキャッシュの課題に対応するために開発された。既存のFP4 KVシステムはバニラ量子化を使用しており、深刻な精度低下を引き起こしていた。一方、精度指向の4ビットアルゴリズムはルックアップオーバーヘッドによりデコードスループットが低下するという問題があった。
本研究では、デコード時の3つの主要なエラー発生源を軽減している。まず、Dual-Residual Query Quantizationにより、クエリを2つのFP4テンソルに分割し、クエリロジットエラーを60%から1%に削減した。次に、Underflow-Aware Probability Scalingにより、E4M3スケールによる長文脈確率のゼロへの丸め込みを防ぐ。さらに、Outlier-Aware Key Quantizationは、静的平滑化、アダマール回転、スケール検索を組み合わせ、トークンごとのスケーリングにおけるキーの外れ値を抑制する。
システムレベルでは、融合された確率量子化を伴う転置ソフトマックスと、ページングされたKVキャッシュ上でのスタックされたクエリMMAを介して、ソフトマックスボトルネックを解消した。
BitDecoding-FP4は、GQAおよびMLAを備えた高密度およびMoEモデルにおいて、NVFP4使用時はBF16 KV精度から0.5ポイント以内、MXFP4使用時は1ポイント以内の精度を維持した。また、RLトレーニングロールアウトにおいてもBF16 KVの精度を追跡している。NVIDIA B300上でQwen3-4BおよびQwen3-30B-A3Bモデルを用いたエンドツーエンドの提供では、BF16 KVと比較してピークサービススループットを2.4〜3.0倍向上させた。BitDecoding-FP4の実装は公開されている。
参考: arXiv cs.AI — 2026年11月7日 03:13 (JST)
原文ハイライト"Native FP4 KV Cache Decoding via Algorithm-System Co-Design"