arXiv cs.CLは2026年8月4日(現地時間)、パーソナルAIエージェントにおける再帰的自己改善の基盤を評価する新たなベンチマーク「PAST-Bench」を発表した。Shuhan Xue氏らが執筆したこの論文によると、個人エージェントがセッション間で保持する経験を将来の行動改善にどう活かすかを体系的にテストすることが目的。PAST-Benchは26のシナリオと204のエピソードを網羅し、保持された経験の有無でエージェントの行動を比較検証する。
本ベンチマークは、記憶、手続き的再利用、情報収集、更新といったカテゴリにわたる能力を測定する。テストでは、7つのベースモデルと4つのエージェントフレームワークにおいて、経験を保持することによる改善が確認されたものの、その効果は能力間で均一ではなく、改善が意図された「保存、取得、更新」の経路によって裏付けられているかはエージェントによって異なると報告されている。
研究チームはこれらの知見に基づき、「Hermes」を拡張した「Hermes+」を開発した。Hermes+はエージェントループの各段階で5つの介入を適用し、経験保持による平均ゲインを向上させ、より明確な経路の証拠を提供した。特に古い状態の置き換えを必要とするタスクにおいて最も強い改善が見られたが、その効果は依然として能力とモデルに依存するとされる。
PAST-BenchとHermes+は、パーシステントエージェントが経験を保持する段階から、それを経て体系的に改善していくプロセスを研究するための評価および診断の基盤を提供する。
参考: arXiv cs.CL (アーカイブ) — 2026年8月5日 02:58 (JST)
原文ハイライト"We introduce PAST-Bench, a benchmark designed to isolate this question."