arXivは2026年8月19日(現地時間)、強化学習フレームワーク「ADEPT (Accelerating Dexterity via Pre-Training and Post-Training using Reinforcement Learning)」に関する研究論文を公開した。これは、高自由度 (DoF) ロボットが長期間のタスクを、視覚と触覚の生データから直接解決するため、シミュレーションから実世界へ転送可能な器用さの学習を目指すもの。ADEPTは汎用的な物体再配置タスクで器用なポリシーを事前学習し、これを下流タスクの事後学習に活用する。
ADEPTは、多指ロボットがゼロから新しい行動を学習することの困難さを克服し、新しい下流タスクごとに同じスキルセットを再学習する手間を省く。このフレームワークにより、事前学習されたポリシーが下流タスクの物体再配置フェーズをゼロショットで実行することが可能になる。しかし、従来の強化学習におけるファインチューニングでは、この機能が転送中に急速に劣化するという課題があった。
研究チームは、この課題を解決するため、安定した事後学習手法を提案している。これには、行動クローニング蒸留（behavior-cloning distillation）、クリティックウォームアップ（critic warm-up）、および保守的なオンポリシー更新（conservative on-policy updates）が組み込まれている。さらに、ロボットの完全な運動学的器用さを安全に活用するため、強化学習ポリシーとロボットの間を仲介するジョイント空間のGeometric Fabricが導入された。
事後学習された教師モデルは、認識型生徒モデル（perceptive students）に蒸留され、シミュレーションから実世界へのゼロショット転送が、2種類のロボットで実証された。使用されたロボットは、23自由度を持つKuka-Allegroに2つのRGBカメラを搭載したモデルと、29自由度を持つFlexiv-Sharpaに2つのRGBカメラと5つのビジョンベース触覚センサーを搭載したモデルである。これらのロボットは、困難な初期状態から人間レベルの速度で長期間のタスクを解決できることが示されている。
本論文の著者には、Jayjun Lee、Jessica Yin、Asif Rana、Nicholas Blauch、Sam Mady、Mohak Bhardwaj、Nima Fazeli、Nathan Ratliff、Karl Van Wyk、Ankur Handaが名を連ねている。
参考: arXiv cs.RO — 2026年8月20日 02:55 (JST)