arXiv cs.LGは11月5日(現地時間)、Teresa Delgado氏らの研究チームが、オートレグレッシブデコーディングにおけるKV（キーバリュー）キャッシュのメモリフットプリントを大幅に削減する新手法「LowRAM (Low-Rank Keys and Amortised Values)」に関する論文を発表したと報じた。この手法は、長期コンテキストにおいて最大26.9倍の圧縮率でベースライン性能の94.5%を維持し、または4倍圧縮時にピークデコードスループットを最大5倍向上させる。キーとバリューを構造的に区別して扱うことで、効率的かつ積極的な圧縮を実現する。
オートレグレッシブデコーディングは、KVキャッシュに依存しており、そのメモリフットプリントはコンテキスト長に線形に比例して増大するため、バッチサイズとスループットが制限されるという課題が指摘されてきた。これまでの学習後（post-training）手法は、トークン、レイヤー、特徴次元間の冗長性を利用するか、数値精度を低下させることで圧縮を試みてきた。
Teresa Delgado氏らの研究チームは、各アテンションヘッド内でバリューが対応するキーから大半が予測可能であるという補完的な側面に着目した。この知見に基づき、テスト時に軽量なヘッドごとの予測器を適合させ、再構築が最も困難なトークンのみの残差を格納するvalue cache amortisationを導入した。これにより、約4倍のニアロスレスなバリュー圧縮を実現した。この予測器は、メタ学習によってプリフィルオーバーヘッド（prefill overhead）を大幅に削減したり、マルチクエリ推論のように一度限りのコストが許容される設定でゼロから適合させたりすることが可能である。
研究チームは、このvalue amortisationと、レイヤー間の低ランクキー圧縮（cross-layer low-rank key compression）を組み合わせることで、非対称圧縮パイプラインである「LowRAM」を開発した。LowRAMは、複数の主要なモデルファミリーでロスレスに近い性能を維持することが示されている。LowRAMは、各デコードステップで選択されたKVペアのサブセットのみを再構築することで、デコードオーバーヘッドを最小限に抑える。これにより、4倍の圧縮率で最大5倍のピークデコードスループットを達成した。
さらに、LowRAMを量子化（quantisation）やイビクション（eviction）といった既存の手法と組み合わせることで、長期コンテキストにおいて26.9倍の圧縮率を達成しながら、ベースライン性能の94.5%を維持した。これらの結果は、キーとバリューを構造的に区別して扱うアプローチが、効率的かつ積極的、そして組み合わせ可能なKVキャッシュ圧縮を可能にするという研究チームの仮説を裏付けている。
参考: arXiv cs.LG (アーカイブ) — 2026年11月6日 14:00 (JST)