KVEraser、LLMのKVキャッシュ文脈消去を効率化する学習手法を提案
Mufei Li氏らは2026年6月15日(現地時間)、大規模言語モデル (LLM) のKVキャッシュにおける文脈消去を効率化する新しい学習済み手法「KVEraser」を提案する論文をarXiv cs.CLで発表した。既存の正確な消去手法では、一度処理された文脈の削除に伴い、その後の全トークンを再計算する必要があり、計算コストが削除されたスパンの長さに依存せずサフィックス長に比例するという課題があった。KVEraserは、この課題に対し、局所的な編集で効率的な性能を実現する。