arXiv cs.LGは7月15日(現地時間)、大規模言語モデル（LLM）エージェントの強化学習を効率化する新手法「Branching Policy Optimization（BPO）」に関する論文を公開した。同研究は、実行可能なサンドボックスの特性を活用することで、従来の強化学習アルゴリズムと比較して、エージェントの性能向上と計算効率の改善を達成したと報告している。
この論文は、実行可能なサンドボックスと対話するLLMエージェントの訓練において、強化学習が中心的なパラダイムとなっている現状を指摘している。既存のアルゴリズムにはPPO、RLOO、GRPOなどがあり、これらはRLHF（人間からのフィードバックによる強化学習）に由来するロールアウトトポロジーを採用し、各プロンプトに対してN個の独立した軌跡をサンプリングしている。
BPOは、サンドボックスが決定的で、スナップショット可能、任意の中間状態から再開可能という特性に着目して開発された。この特性を活用することで、BPOは従来のN個の独立した深さTのツリーではなく、兄弟が接頭辞を共有し、結果として分散も共有するN個の葉を持つ単一のツリーを構築できると提案している。
BPOの具体的な実装は、主に以下の3つの要素を含むとされている。(i) バックボーン軌跡に沿った高エントロピーな決定点でサンドボックスを適応的にスナップショットする、(ii) 各分岐点でK個の代替アクションをフォークし、それぞれを終端までロールアウトする、(iii) 独立したプロンプトからではなく、兄弟リターンからステップごとのアドバンテージを計算する、といった手法が採用されている。
評価はWebShop、ALFWorld、SWE-benchの検証セットで実施され、Qwen2.5-7BおよびLlama-3.1-8Bがバックボーンとして利用された。BPOは、GRPOとRLOOと比較して成功率を3.6から6.1絶対ポイント改善し、勾配ノルムの分散を半減させたと報告されている。また、同等の計算量で、最良のベースラインと同等の性能を38%少ないポリシー更新で達成した。この推定器は不偏であり、軌跡レベルのベースラインよりも厳密に低い分散を持つことが証明されたと論文は述べている。本研究はWAIC Academic 2026で受理された。
参考: arXiv cs.LG — 2026年7月17日 13:00 (JST)