arxivは2026年6月16日(現地時間)に公開された論文において、対話型AIエージェントの長期記憶管理戦略を評価するための新たなベンチマーク「AgentMemBench (エージェントメモベンチ)」を発表した。本ベンチマークは、5つの主要な記憶管理戦略を統一された条件下で評価し、外部キーバリューストア (EKV) が品質軸の多くで他の戦略を上回ることを示した。生成と評価にはQwen2.5-7B-Instructモデルが使用された。
本研究は、対話型AIエージェントにおいて、有限なコンテキストウィンドウでは数千のターンにわたる一貫したリコールをサポートできないという、長期記憶に関する課題に対処することを目的としている。
AgentMemBenchでは、以下の5つの記憶管理戦略を評価した。インコンテキストウィンドウイング (ICW)、外部キーバリューストア (EKV)、グラフベースエピソード記憶 (GEM)、圧縮ベース要約 (CBS)、およびウェブ拡張記憶 (WAM)。評価は、長期マルチセッション対話 (LoCoMo)、タスク指向型文書グラウンディング (MultiDoc2Dial)、およびペルソナに基づいたマルチセッションチャット (MSC) の3つの公開データセットを用いて実施された。評価指標にはRecall@k、MRR、nDCG@k、Answer F1、LLM-judge Faithfulness score、Memory Footprint、Latencyが含まれ、合計491の注釈付き質問ターンに対して評価が行われた。生成と評価にはQwen2.5-7B-Instruct (4-bit) モデルが使用されている。
主要な結果として、EKVはマクロRecall@5で0.792、MRRで0.677、F1で0.156、Faithfulness scoreで0.354を記録し、他のすべての品質軸で優位を示した。特に、ゴールドターンが多くのセッションを遡るLoCoMoデータセットにおいては、ICW、WAM、GEM、CBSのRecall@5が0.005以下であったのに対し、EKVは0.573に達した。これは、長期的な視点では、新近性ウィンドウ、要約、エンティティグラフが機能せず、密な検索のみがスケールすることを示唆している。また、CBSが検索性能で0.556を記録し、EKVに次ぐ結果となった。EKVは高いリコール性能と引き換えに、ICW/WAMの約300トークンに対し、約5,100トークンという大きなフットプリントコストを伴い、精度と効率のトレードオフも示された。本研究では、MemGPTとLetta、HippoRAGの2つの公開メモリシステムも同じ評価ハーネスで評価し、完全な再現性のためにすべてのコード、環境、および結果アーティファクトを公開している。
参考: arXiv cs.CL (アーカイブ) — 2026年8月4日 13:00 (JST)