ティアンユ・フー (Tianyu Fu) らの研究チームが2026年10月20日(現地時間)にarXiv cs.CLで公開した論文で、大規模言語モデル (LLM) エージェントの運用コスト削減と性能向上を目的とした「キャッシュエンジニアリング (cache engineering)」という新手法を提案しました。複雑なタスクを扱うLLMエージェントにおいて、長くなる処理履歴に伴うキーバリュー (KV) キャッシュのI/Oとストレージコストが主要な負担となっていました。また、処理履歴がLLMの最大コンテキスト長を超過する問題も指摘されていました。
従来のコンテキストエンジニアリングでは、履歴のトリミングや要約によってキャッシュサイズを削減していましたが、これにより後続のキャッシュ状態が無効化され、保持されたコンテキストの再プリフィルという高コストな処理が発生していました。本研究が提案するキャッシュエンジニアリングは、エージェントが処理履歴を修正したり、保持されたコンテキストを再プリフィルしたりすることなく、アクティブなKVキャッシュを直接制御することを可能にします。
具体的には、エージェントはdrop操作を用いて特定のキャッシュを将来のアテンションから除外し、repos操作を用いて保持されたキーの位置エンコーディングを調整します。研究チームはこれらのキャッシュ操作を形式化し、履歴依存性がサービングにおける課題であることを指摘しました。同一のトークンシーケンスであっても、異なるキャッシュ操作シーケンスの下では異なるキャッシュ状態を生成しうるため、正確なキャッシュ再利用にはプレフィックスマッチングだけでは不十分であるとされます。
これらの課題に対応するため、研究チームはAKVサービングエンジンを共同設計しました。AKVは既存のサービングAPIと互換性のあるステートレスなインターフェースを提供しながら、内部でステートフルなキャッシュの再利用、排除、復元を管理します。実験結果では、tool-response rolling-dropキャッシュポリシーが従来の閾値ベースの要約と比較して、平均ベンチマークスコアを1.7ポイント向上させ、平均コストを27.7%削減することが示されました。AKVを使用することで、出力スループットは最大1.2倍、P95リクエストレイテンシは1.5倍高速化しました。さらに、キャッシュポリシーの再帰的自己改善により、専門家による設計と比較してコストが7.1%削減されたことも報告されています。
参考: arXiv cs.CL — 2026年10月21日 02:32 (JST)
原文ハイライト"agents can proactively use drop to exclude selected cache from future attention"