arXiv cs.CLが2026年10月14日(現地時間)付けで報じたところによると、インファ・チェン (Yingfa Chen) 氏らが、長文コンテキスト処理におけるキーバリュー (KV) キャッシュの圧縮に関する新しい手法「Latent Compaction」を発表した。この手法は、テスト時学習 (test-time training) を通じて文書固有のコンパクトなキャッシュを学習し、長大なコンテキストにおけるメモリ使用量とアテンションコストを削減しながら、未知の質問に対する情報保持能力を維持することを目指す。
長文コンテキストは、キーバリュー (KV) キャッシュを拡大させ、生成時のメモリ使用量とアテンション (attention) コストを増加させる課題がある。Latent Compactionは、この課題に対し、テスト時学習を用いることで、文書固有のコンパクトなキャッシュを学習する。キャッシュエントリーの初期化には、再構成重要度 (reconstruction importance)、教師アテンション (teacher attention)、キー空間の多様性 (key-space diversity) を活用する。
学習プロセスでは、まずアテンション出力とログノーマライザー (log-normalizers) をフルキャッシュ (full cache) のものに適合させる。この際、再構成によって選択されたエントリーは固定される。その後、フルキャッシュモデルからのエンドツーエンド蒸留 (end-to-end distillation) によってキャッシュ全体を共同で最適化する。この間、モデルの重みは凍結されたままであり、学習には文書に関する一般的なプロンプトのみを使用し、下流の質問や回答にはアクセスしない。
RULER、LongBench、Phonebook Lookupでの実験により、予算が同等の既存の圧縮ベースラインと比較して、大幅な性能向上が示された。RULERでの評価では、本手法が32倍の圧縮率で96.7%の精度を達成したのに対し、既存手法であるKVZip+は40.0%であった。また、Qwen3とMiniCPM5の両方で検索性能が向上しており、モデルのスケールやファミリーを超えて転用可能であることも示された。この研究は、KVキャッシュをニューラルネットワークとして扱い、テスト時学習で最適化することで、高い圧縮率下でも検索精度を維持できることを示している。関連コードはGitHubで公開されている。
参考: arXiv cs.CL — 2026年10月15日 02:57 (JST)