新手法LowRAM、KVキャッシュを最大26.9倍圧縮しピークスループット5倍向上
arXiv cs.LGは11月5日(現地時間)、Teresa Delgado氏らの研究チームが、オートレグレッシブデコーディングにおけるKV（キーバリュー）キャッシュのメモリフットプリントを大幅に削減する新手法「LowRAM (Low-Rank Keys and Amortised Values)」に関する論文を発表したと報じた。この手法は、長期コンテキストにおいて最大26.9倍の圧縮率でベースライン性能の94.5%を維持し、または4倍圧縮時にピークデコードスループットを最大5倍向上させる。キーとバリューを構造的に区別して扱うことで、効率的かつ積極的な圧縮を実現する。