arXiv cs.ROは10月15日(現地時間)、ティアンジャオ・ユウ (Tianjiao Yu) 氏らの研究チームによる論文『CoDA: Co-Evolution of Data Engines and Action Policies』を公開した。同論文は、ロボットの環境構築とポリシー訓練を効率化する新しいフレームワーク「コダ (CoDA)」を発表。コダは、シミュレーションデータエンジンとアクションポリシーを共有異種メモリを通じて共進化させることで、ポリシー訓練の非効率性や失敗事例を解消し、学習効率と堅牢性を大幅に向上させることを目指す。
コダ (CoDA)は、シミュレーションを用いたロボットの環境構築が進む中で顕在化した課題、すなわち物理的に有効な環境が必ずしもロボットのポリシー訓練に最適ではないという点に深く切り込んでいる。
既存のシミュレーション技術は、多様な環境を生成する能力を持つ一方で、生成された環境が常にポリシー学習にとって有益であるとは限らない。例えば、現実にはあり得ない物理法則を持つ環境や、ポリシーが学習すべき特定の困難を適切に再現しない環境などが生成されることがある。コダは、このギャップを埋めるため、シミュレーションデータエンジンとアクションポリシーを密接に連携させ、共有異種メモリを介して相互に影響を与えながら進化させるアプローチを採用する。
この共有異種メモリは、コダの核となる要素であり、ビジョン言語批評器から得られた検証済みの診断結果を蓄積する。これらの診断結果は、ロボットのポリシーが直面した困難や失敗の種類、そしてその原因に関する具体的な情報を含む。このメモリは、単なるデータレポジトリにとどまらず、これらの診断結果を二種類の生成プログラムにコンパイルする機能を持つ。一つは、ポリシーの困難を再現し、さらに深掘りするような挑戦的な環境を生成するためのプログラム。もう一つは、ポリシーがそれらの困難を克服するのを支援するための、具体的な訓練プログラムである。
研究チームはさらに、テクストトゥポテンシャル (Text2potential) と呼ばれるメカニズムを提案している。これは、診断結果をアクションチャンク価値学習のための段階的ポテンシャルに変換する革新的な手法だ。従来の報酬設計では困難であった、密度の高い教師信号をポリシー更新のために提供することを可能にする。テクストトゥポテンシャルは、標準的なシェーピング仮定の下でタスクの最適ポリシーを維持しながら、学習プロセスを効率化し、より迅速かつ効果的なポリシーの改善を促す。
コダの有効性は、四つの異なる操作タスクファミリーにわたる広範な評価によって実証された。この評価では、教師ありファインチューニング後の分布外成功率が、既存手法の5.3%からコダでは27.6%へと大幅に向上したことが確認された。さらに、同じ生成予算を用いた比較において、コダは最強のクローズドループベースラインを9.5パーセンテージポイント上回るパフォーマンスを示した。これは、コダがより少ない計算資源で、より高い学習効果と汎用性を持つポリシーを生成できることを意味する。
特に、複雑なロボット操作タスクのベンチマークであるリベロプロ (LIBERO-Pro) での実験では、コダの顕著な成果が報告されている。わずか15ラウンドの生成と訓練プロセスを通じて、位置摂動下での成功率が初期の25%から84%へと劇的に向上した。また、指示摂動下（ロボットへの指示が曖昧または変化する状況）においても、成功率が初期の1%から76%にまで引き上げられ、コダが未知の状況や変化する要件に対するロボットの適応能力を飛躍的に高めることが示された。
参考: arXiv cs.RO — 2026年10月16日 02:59 (JST)
原文ハイライト"CoDA: Co-Evolution of Data Engines and Action Policies"