Zichen Bai、Yanli Wang、Yang Liuらの研究チームは2026年10月28日(現地時間)、大規模言語モデル（LLMs）の学習効率を改善する新たな非同期強化学習（RL）最適化手法「Li^2SAO（Lifting Light Single-Rollout Asynchronous RL Optimization via Group-Relative Actor-Critic Bootstrapping）」に関する研究論文をarXivで公開した。同手法は、既存の「Single-rollout Asynchronous Optimization（SAO）」における事前学習済み価値モデルへの依存性や、その軽量版である「LiSAO」の学習初期段階における性能課題を克服し、LLMsのより安定した効率的な学習を目指している。
非同期強化学習（RL）は、ロールアウトが到着するたびにモデルを更新することで学習効率を向上させ、大規模言語モデル（LLMs）の後学習における主要なパラダイムとして確立されつつある。先行研究では、ロールアウト長がロングテール分布に従う非同期RL学習に、グループワイズサンプリングを用いる「GRPO」が自然に適合しないと指摘し、特にエージェントタスクにおいて安定性とオフポリシー挙動を改善するSingle-rollout Asynchronous Optimization（SAO）を提案していた。
しかし、「SAO」はスケーリングされた価値事前学習から得られるクローズドソースの価値モデルに依存するという課題がある。本研究では、事前学習済み価値モデルを使用しない「SAO」の軽量版である「LiSAO」と「GRPO」を、シングルターン推論タスクとマルチターンエージェントタスクで分析した。その結果、推論タスクでは「GRPO」が「LiSAO」を上回る一方、エージェントタスクでは逆の結果が得られた。「LiSAO」の価値モデルは学習初期段階で十分に訓練されていないため、この段階で「LiSAO」は「GRPO」に大きく遅れをとることが明らかになった。
これらの課題に対処するため、研究チームは「Li^2SAO」を提案した。これは、グループ相対的なアクタークリティックブートストラップを用いてLight Single-rollout Asynchronous Optimizationを強化するものである。具体的には、クリティックの訓練が不十分な初期段階においては、アクターの訓練にgroup-relative advantageを、クリティックの訓練にgroup-centered returnを利用する。その後、学習はsingle-rollout GAEに切り替わる。実験により、「Li^2SAO」が学習初期段階で「GRPO」に追いつくか、またはそれを上回り、さらに最終的な性能上限を押し上げることが示されている。関連するコードも公開されている。
参考: arXiv cs.CL (アーカイブ) — 2026年11月2日 14:00 (JST)