arXivは2026年11月10日(現地時間)に公開された論文「Cleaning an Agent's History Hurts When the World Still Holds the Error」で、ツール利用言語モデルエージェントの履歴を修正する際、その効果が世界の状態に依存すると発表した。この研究は、履歴をクリーンに見せても、世界にエラーが残っている場合、エージェントのパフォーマンスが低下する可能性を示唆している。
本研究は、エージェントが自らの誤りの履歴を蓄積し、システムがその履歴を整理、修復、または引き渡す状況において、世界にその誤りの影響が残っている場合、履歴がその誤りについて何を語るべきかを問いかけている。過去の研究では、履歴は固定された世界で修正されており、修正されたステップと完了したという記述が同時に行われていた。
研究チームは、エージェントをタスクの中間で正確な世界状態とともに停止させ、履歴または世界を編集し、レシーバーモデルに継続させた。AgentCE-Benchでの実験では、エージェントが誤った値をコミットした後、世界を固定し、訂正された値を与える二つの方法を試みた。一つは、保存されたエラーの隣に真実のメモを追加する方法で、これによりリカバリー率(レシーバーが正しく処理する残りのターゲットの割合)は、一致する中立的なメモがあった場合の51%から66%に上昇した。もう一つは、エージェント自身が完了したアクションとして訂正された値を追加する方法で、これは未編集の履歴の50%から44%に低下させ、値が存在するだけでは効果を予測できないことを示した。
AppWorldでの実験では、データベース書き込み後の成功または失敗の報告と、その効果が実際に存在するかどうかを変化させた。その結果、効果がない場合に成功報告は全タスクの成功率を45%から28%に低下させ、効果がある場合には38%から49%に上昇させた。この二つの効果は、二つのレシーバーでプールした場合、27ポイントの差があり、8つのレシーバーのうち6つで97.5%の確度で、7つで95%の確度でこの差が正であった。このことから、履歴の編集効果はそれが記述する世界に依存し、世界にエラーが残っている間に履歴をクリーンに見せることは、全く編集しないよりもエージェントを悪化させる可能性があると結論付けられた。
論文の著者は、エゴール・パホモフ (Egor Pakhomov)氏、アヌラグ・コウル (Anurag Koul)氏、ホンジュン・リュウ (Hongjun Liu)氏、ボー・パン (Bo Pang)氏、シャフィク・ジョティ (Shafiq Joty)氏、エリック・ナイキャンプ (Erik Nijkamp)氏の6名。
参考: arXiv cs.AI (アーカイブ) — 2026年11月14日 14:00 (JST)