BitDecoding-FP4、FP4 KVキャッシュのデコード精度と効率を改善
Dayou Du氏ら研究者チームは2026年11月6日(現地時間)、大規模言語モデル (LLM) におけるFP4キーバリュー (KV) キャッシュのデコード精度と効率を向上させる新たな手法「BitDecoding-FP4」を発表した。この手法は、アルゴリズムとシステムを協調設計することで、既存のFP4 KVシステムにおける深刻な精度低下と、精度重視アルゴリズムで発生するデコードスループットの劣化という二つの課題を解決する。