トニー・H・チャン (Tony H. Zhang) らは2026年11月13日(現地時間)、複数エージェント強化学習 (MARL) におけるデモンストレーションベースの模倣学習の課題を解決するフレームワーク「Imitation Bootstrapped Multi-Agent Reinforcement Learning (IBMARL)」に関する論文をarXivで発表した。このIBMARLは、模倣ポリシーを訓練するためにラウンドロビン行動クローン (R2BC) を利用し、その性能を上回る強化学習ポリシーを効率的に学習させる。4つの協調型MARLベンチマークにおいて、IBMARLはデモンストレーションベースのベースラインと比較して大幅な高速化と性能向上を達成した。

IBMARLは、シングルエージェント強化学習 (RL) で効果的とされるデモンストレーション活用を、複数エージェント環境に適用したものである。IBMARLは、既存のImitation Bootstrapped Reinforcement Learning (IBRL) を協調型チーム向けに拡張し、複数エージェントを同時に遠隔操作する困難さをRound-Robin Behavior Cloning (R2BC) で克服する。

具体的には、各時間ステップにおいて、各エージェントは自身の模倣ポリシーとRLポリシーからアクション提案を受け取る。その後、一元化されたクリティックのアンサンブルが、各エージェントのアクション提案の組み合わせから最適なものを選択する。訓練プロセスでは、ゲート付き模倣ペナルティとソフトQフィルター行動クローン損失が導入され、クリティックが模倣アクションをより高く評価する状況でのみ、RLポリシーが模倣ポリシーに近づくよう正則化される。

訓練完了後、各エージェントは一元化されたクリティックなしで自身のRLポリシーを単独で実行する。IBMARLの評価は4つの協調型複数エージェントRLベンチマークで行われ、その結果、2つのタスクでは模倣ポリシーをデモンストレーションベースのベースラインより2.6倍から4.2倍速く上回った。また、他の2つのタスクでは模倣ポリシーを上回る唯一の手法であり、4つのうち2つのタスクではデモンストレーター自身の性能をも超えた。実際の人間によるデモンストレーションを用いた場合でも、IBMARLは模倣学習単独を上回り、最高のベースラインより2倍以上高速にこれを達成している。

本研究の予備バージョンは、IROS 2026のPhysCollaBot Workshopで発表された。


参考: arXiv cs.AI (アーカイブ) — 2026年11月14日 03:50 (JST)

原文ハイライト

"IBMARL surpasses its imitation policies $2.6$-$4.2\times$ faster than demonstration-based baselines"

この記事をシェア
X はてブ LinkedIn