Siyuan Hu氏らは11月4日(現地時間)、シミュレーションから知覚的なヒューマノイド動作を生成する自律システム「HALO」を発表した。HALOは、数千に及ぶ手続き的に生成された仮想の家庭環境で、ビジョン・言語・モーションデータを合成するパイプラインを核とする。このシステムは、人間が介入することなく計算資源に応じてデータをスケーラブルに生成し、ヒューマノイドロボットの汎用的な自律性実現におけるデータ不足の課題解決を目指す。
ヒューマノイドロボットは、多様な物理的タスクを自動化する大きな可能性を秘めている。しかし、汎用的なヒューマノイドの自律性を実現する上では、ピクセル情報と自由形式の言語指示を低レベルの関節コマンドに正確にマッピングするためのデータが不足している点が大きな障壁となっていた。従来のデータ収集手法は、人間の遠隔操作やウェアラブルキャプチャデバイスへの依存が大きく、1時間のデータを生成するために少なくとも1時間の人間の労力が必要とされ、そのスケーラビリティが問題視されてきた。
この課題に対し、HALOシステムは革新的なアプローチを提示する。HALOのデータ生成パイプラインは、人手を介することなく、シミュレーション環境内でビジョン・言語・モーションデータを大規模に合成する。このデータコーパスは、数千に及ぶ手続き的に生成された多様な家庭環境を活用し、計算資源に応じてスケーラブルに拡張できる点が特徴だ。これにより、従来のデータ収集における人的ボトルネックを根本的に解消し、数百万規模の多様な視覚言語運動データを生成可能にする。
HALOは、この豊富な合成データを用いて多岐にわたる物理的スキルを獲得する。具体的には、椅子に座る、指定されたオブジェクトまで移動する、半開きのドアを横向きに通り抜ける、テーブルの下をかがんだり這ったりする、箱を押すといった動作を学習する。これらの基本的なスキルは、HALOが複合的で長期間にわたるタスクを解決するために組み合わせることが可能であり、家庭環境における複雑な指示にも対応できる。
HALOが特に注目されるのは、訓練中に実世界の家庭環境を一度も見ることなく、物理世界へのゼロショット転移を高い精度で実現した点にある。未マッピングの6つの実世界環境における360回の試行において、HALOは91%という高い成功率を達成した。この成果は、シミュレーションで学習したロボットが、未知の実世界環境においても高い汎用性を示せることを裏付けている。本研究は、Siyuan Hu氏、Abulikemu Abuduweili氏、Yue Meng氏、Shipeng Liu氏、Quentin Leboutet氏、Chen Chen氏、Matthias Müller氏、Vladlen Koltun氏によって実施された。
参考: arXiv cs.RO (アーカイブ) — 2026年11月5日 03:55 (JST)
原文ハイライト"Perceptive Humanoid Motion from Simulation"