サマース・ヴィナヤカ (Samarth Vinayaka) 氏は2026年8月30日(現地時間)、LLM(大規模言語モデル)エージェントの記憶システムにおける特定の条件下での事実削除が、精度低下につながる可能性を示す論文をarXivに提出した。同氏の研究によると、クエリに不可欠な情報がリゾルバーエラーによって誤って削除される「誤削除(false-drop)」が、その後のモデル精度に影響を及ぼす。検証では、完璧な解決状況下で+0.186から+0.230の精度向上が見られた一方、信頼性の低い状況では-0.176から-0.181の精度低下が観測された。
この論文When Should LLM Agents Forget? Memory Filtering Under Query-Critical Resolver Errorsは、LLMエージェントが過去の情報をどのように管理すべきかという、記憶管理における課題に焦点を当てている。特に、誤って事実を削除してしまう「誤削除(false-drop)」が、誤って事実を保持し続ける「誤保持(false-keep)」よりも大幅な精度低下を引き起こすことが示された。
実験では、102/102のキャリブレーション/テスト分割データセットにおいて、シンプルなデプロイメントに合わせたゲート方式が0.655の精度を達成した。これは、常にハード削除を行う場合の0.641、テスト情報に基づくオラクル選択の場合の0.662と比較されている。この研究は、グローバルな精度クロスオーバーはゴールドラベルを必要とし、モデルおよびタスク固有の診断として機能するものの、デプロイメントの閾値ではないと結論付けている。
論文では、記憶削除の決定はコストに敏感であるべきだと提言している。特に、クエリに不可欠な情報の誤削除のリスクを避けるため、適合したデータを用いて削除の判断を検証するか、検証が不可能な場合はラベルフリーでの保持をデフォルトとすることを促している。これにより、LLMエージェントが過去の情報を適切に取捨選択し、全体の性能を最大化するための指針が示された。
参考: arXiv cs.AI (アーカイブ) — 2026年11月16日 14:00 (JST)