arXiv (アーカイヴ)は2026年10月14日(現地時間)、大規模言語モデル (LLM) エージェントを用いた自動研究における発見能力のスケーリングに関する研究論文「Scaling Discovery Requires Forgetting」を公開した。同論文は、LLMエージェントが過去の履歴を蓄積することで探索が停滞するという課題に対し、定期的に探索状態を破棄し、現在の最良候補から再開する「忘却」戦略が有効であることを示している。この手法により、並列エージェントと比較して最大15%、単一エージェントと比較して最大39%の性能向上が確認された。
LLMエージェントによる自動研究は、さまざまな分野で有望な結果を示している。反復的な洗練とスコア付けされた検証を通じて、LLMエージェントは新しいアイデアを発見する能力を持つとされる。自動研究をスケールさせる方法としては、一つのエージェントに長時間の反復を行わせる、複数のエージェントを並列で実行する、あるいは並列エージェント間で通信させ、互いの候補を基に構築する、という三つの戦略が存在する。
しかしながら、研究チームはこれら三つの戦略の全てが、エージェントが履歴を蓄積するにつれて最終的にプラトー（停滞）に達することを発見した。各エージェントは自身の過去の試みに固定化され、編集の頻度と規模が減少する傾向がある。この時点を超えると、追加の計算リソースを投入しても、ほとんど改善が見られない状態となる。
本研究では、発見をさらにスケールさせる鍵は「忘却」にあると提唱している。エージェントのセッションや候補履歴を含む探索状態を定期的に破棄し、これまでに発見された最良の候補から再スタートすることで、探索の停滞が解消され、同じ計算リソースでより高い発見能力を引き出せることを示した。この「忘却」戦略は、通信機能を備えたエージェントチームに実装され、ヒューリスティックプログラミング、カーネル最適化、モデルトレーニングの四つのタスクで評価された。その結果、並列エージェントと比較して最大15%の改善、単一エージェントと比較して最大39%の改善が示された。研究者らは、オープンエンドな発見においては、エージェントが何を記憶することを許容されるかが、与えられた計算量と同様に重要であると指摘している。
参考: arXiv cs.AI (アーカイブ) — 2026年10月15日 02:49 (JST)
原文ハイライト"the key to scaling discovery further is to forget."