LLMエージェントのキャッシュ効率化、新手法でコスト27.7%削減
ティアンユ・フー (Tianyu Fu) らの研究チームが2026年10月20日(現地時間)にarXiv cs.CLで公開した論文で、大規模言語モデル (LLM) エージェントの運用コスト削減と性能向上を目的とした「キャッシュエンジニアリング (cache engineering)」という新手法を提案しました。複雑なタスクを扱うLLMエージェントにおいて、長くなる処理履歴に伴うキーバリュー (KV) キャッシュのI/Oとストレージコストが主要な負担となっていました。また、処理履歴がLLMの最大コンテキスト長を超過する問題も指摘されていました。