論文「Pixel-UMI: Learning Environment-Aware Whole-Body Manipulation from Sensorized Human Demonstrations」は11月2日(現地時間)、センサー付き人間のデモンストレーションデータから環境認識型の全身操作ポリシーを学習するパイプライン「Pixel-UMI」の開発を発表した。モバイルマニピュレーションにおけるデモンストレーションデータの拡張性確保と、実体間の差異によるポリシー学習の複雑化という課題に対応する。
Pixel-UMIは、環境認識型リターゲティング (Environment-Aware Retargeting、EAR) を導入している。EARは、再構築されたシーンのジオメトリと、デモンストレーションにおける頭部およびグリッパーの軌跡を組み合わせ、ロボットの姿勢を決定する。これにより、衝突を考慮した関節およびベースのターゲットが生成される。
これらの軌跡は、遅延キャリブレーションされたアクション割り当てによってアクションに変換される。しかし、運動学的な違いがポーズ誤差を残すことがあり、人間のデモンストレーションとロボットの観測との間に視点ミスマッチを生じさせる。このため、Pixel-UMIはリターゲティング誤差認識マスキング (Retargeting-Error-Aware Masking、REAM) を導入している。REAMは、デプロイ時にミスマッチな視点への依存を減らすため、トレーニング中にこれらの誤差を利用する。
推定されたアクションだけでは接触の多いインタラクションを完全に捉えきれないため、DAggerを介してオンポリシーの人間の修正が収集され、パフォーマンスが向上している。研究チームは、関節オブジェクト操作、変形可能オブジェクトハンドリング、制約空間到達、全身衝突回避、接触の多い両腕協調の5つのタスクでPixel-UMIを評価した。その結果、平均87.0%のタスク進捗率を達成した。動画による結果はウェブサイトで公開されている。
本論文の著者はJason Jingzhou Liu氏、Tony Tao氏、Deepak Pathak氏、Ruslan Salakhutdinov氏。
参考: arXiv cs.RO — 2026年11月3日 03:59 (JST)
原文ハイライト"Learning Environment-Aware Whole-Body Manipulation from Sensorized Human Demonstrations"