#bfloat16

HeadGuard、VLM KVキャッシュ量子化の精度低下を抑制

Nenad Banfic氏らの研究チームは9月18日(現地時間)、低ビットのキーバリュー（KV）キャッシュ量子化におけるビジョン言語モデル（VLM）の精度低下を抑制する新手法「HeadGuard（ヘッドガード）」を発表した。同手法は、既存のKVキャッシュ量子化器に選択的な高精度マスクを組み合わせることで、ストレージ削減と高精度維持の両立を目指す。これにより、AIモデルの効率性と性能向上に貢献する。