arXiv cs.AI は10月14日(現地時間)、言語エージェントの訓練における高コスト課題を解決する新手法を提案する論文を公開した。この手法は、標準的な強化学習 (Reinforcement Learning、RL) では活用しきれていなかった中間ステップの教師信号を有効利用し、行動 (acting) と予測 (forecasting) を共進化させることで訓練のボトルネック解消と効率向上を目指す。従来の価値ターゲットや観測ターゲットが抱える構築の難しさを克服するため、マルチステップのアクションターゲットを導入している。
言語エージェントの訓練では、長期間にわたるロールアウトの実行が高コストであることが主要な課題となっている。特に複雑な環境下での探索や試行錯誤は、計算資源と時間を大量に消費し、効率的な学習の大きな障壁となっていた。従来の強化学習 (RL) アプローチでは、一般的に最終的な報酬に基づいてのみ学習が行われるため、中間ステップで得られる豊富な情報が十分に活用されていなかった。
今回提案された手法は、この中間ステップの教師信号を戦略的に活用することで、訓練効率の向上を図る。その核心は、行動 (acting) と予測 (forecasting) の共進化にある。具体的には、成功したオンポリシーの軌跡上でポリシーのバックボーンが訓練され、各履歴に続くアクションシーケンスが生成される。この際、各アクションは先行する履歴から予測される際にも教師信号として機能する。学習プロセス中に共有バックボーンが一時的なアンサンブルを吸収する仕組みも取り入れられている。これにより、エージェントは単に行動するだけでなく、次に何が起こるかを予測する能力も同時に磨き、両者が相互に作用し合うことで学習が加速される。推論時には、このポリシーは追加のオーバーヘッドを伴うことなく、一度に1ステップずつ行動することが可能である。
本研究では、ALFWorld、ScienceWorld、WebShop、τ²-bench、AppWorld の5つの多様なベンチマーク環境で提案手法の性能評価が行われた。これらのベンチマークは、テキストベースのインタラクションからウェブナビゲーション、モバイルアプリ操作まで、言語エージェントが直面する多様な現実世界の問題をシミュレートする。評価の結果、提案手法はこれらのシミュレーション環境において、既存の GRPO や予測補助ターゲットを持つ RL ベースラインと比較して、より強力な総合性能を達成した。特に ScienceWorld においては、ECHO および GRPO といった既存手法に対し、それぞれ最大1.9倍および2.0倍のサンプル効率向上を実証している。
重要な点として、これらの性能向上は、追加のモデルや別個の事前訓練を必要とせず、また推論時のオーバーヘッドを伴うこともなく、単一のポリシーバックボーンによって実現されている。このことは、本手法が実用的なアプリケーションへの導入において、高い汎用性と効率性を持つことを示唆する。研究チームは、現実的なアプリケーションにおいても全体的な性能向上を示したと報告している。
参考: arXiv cs.AI (アーカイブ) — 2026年10月15日 02:59 (JST)