Bo Liu (ボー・リュウ) 氏らは2026年8月19日(現地時間)、arXiv cs.CLで論文を発表し、大規模言語モデル (LLM) の継続的な自己改善を目的とした強化学習 (RL) フレームワーク「SPADE (Self-Play in Adaptive Synthetic Executable Environments)」を提案した。SPADEは、単一のLLMが環境デザイナーと推論エージェントの二役を担い、実行可能なトレーニング環境を自己生成し、推論エージェントがその環境で行動を学習する。実験では、30Bパラメータモデルにおいて既存の固定環境ベースラインを上回る性能を示したと報告している。
既存の言語エージェント向けトレーニング環境は、学習者の規模が拡大しても目標の分布が固定される課題があった。SPADEでは、OpenAI Gymスタイルのreset()/step()インターフェースを持つ実行可能なコードとして、完全で長期的なトレーニング環境を環境デザイナーが作成する。これらは状態を持つ多段階環境であり、推論問題と多段階のエージェント的ツール利用の両方に対応する。
推論エージェントのレグレット（後悔）は、特権ヒントの有無による報酬の差を用いて推定される。環境デザイナーはこのレグレット信号を最適化することで、エージェントの能力の限界にあるものの実行可能な環境を目標とすることを学習する。広範な実験の結果、環境デザイナーを大規模な事前学習コーパスからサンプリングされたドキュメントに基づいて接地させることと、累積的な環境メモリを与えることが成功に不可欠な要素であると結論付けている。
30Bパラメータモデルに適用した場合、SPADEは数学、科学、コード、推論の8つのベンチマークにおいて、最も強力な固定環境ベースラインと比較して平均で+5.3の改善を達成した。また、ツール利用設定では、BFCL-v4マルチターンで+5.7、ACEBench-Agentで+13.9の向上を示した。ゲーム設定では、モデル規模の拡大とともに最も強力なベースラインに対するマージンが拡大すると報告している。環境設計自体を学習可能なコンポーネントとすることで、SPADEはオープンエンドな自己改善に向けた具体的な一歩となる可能性が指摘されている。
参考: arXiv cs.CL (アーカイブ) — 2026年8月20日 02:58 (JST)
原文ハイライト"SPADE improves over the strongest fixed-environment baseline by +5.3 on average across eight held-out"