ArXiv (cs.LG) は11月4日(現地時間)、研究論文を公開し、汎用ロボットポリシーの改善において強化学習が有効であることを示した。この研究は、単一の大規模モデルが多様なタスクに対応する汎用ロボットポリシーが、展開時に多種多様なタスクに対して同時に汎用的な改善が可能か、またそれを実現するアルゴリズム的手法を追究した。結果として、オンラインでの多タスク改善が可能であり、オンライン訓練で考慮されなかったタスクにも汎化し性能を向上させることが実証された。
汎用ロボットポリシーは、単一の大規模モデルが広範な事前学習データから多様なタスクを実行する能力を持つ。これらのモデルは強力なゼロショット汎化能力を示すものの、展開時に十分な性能を発揮するには適応段階が不可欠とされる。強化学習（RL）を用いた反復的な自己改善は、この適応を可能にする有望な手段であることがこれまでも示されてきた。
しかし、従来の強化学習アプローチは、狭い展開タスクでの改善を目指す単一タスク設定で主に探求されており、ベースポリシーが持つ多タスク能力とは対照的だった。
今回発表された論文では、汎用ロボットポリシーが多種多様なタスクを同時にターゲットとする多タスク・汎用改善を展開時に実行できるか、そしてそれを可能にするアルゴリズム的な手法は何であるかを問いかけた。研究者らはこの問いに答えるため、まず汎用改善能力をテストするための一連の構造化評価を開発した。その上で、価値推定（value estimation）、ポリシー抽出（policy extraction）、リソース割り当て（resource allocation）に関するアルゴリズム的および実践的な設計選択肢を系統的に評価した。
これらの評価の結果、汎用ポリシーは多様なタスクにおいてオンラインで改善できるだけでなく、適切な手法を用いることで、オンライン訓練中に考慮されなかったタスクに対しても汎化し、性能を向上させることが可能であることを示した。この汎化が発生する条件を特徴付け、訓練タスクの分布と価値ベースの強化学習の使用がともに重要であると指摘している。この成果は、ロボット基盤モデルにおけるオンラインでの汎用改善を示す最初の証拠の一つとされている。
参考: arXiv cs.LG (アーカイブ) — 2026年11月5日 03:52 (JST)