arXiv cs.ROは2026年11月19日(現地時間)、直接ロボット制御におけるフロンティアエージェントの能力を理解する研究論文「AgentRoboCritic: Understanding the Capability of Frontier Agents on Direct Robot Control」を発表した。GPT-6 Astraのようなフロンティアマルチモーダル言語エージェントは、高レベルのプリミティブなしに低レベルの数値アクションを介してロボットを直接制御する強力な能力を示している。しかし、既存のベンチマークはエピソードレベルの成功率のみを報告しており、これらのエージェントがどのように成功し、どこで失敗するかの両方を示すものではなかった。

本研究は、12のマニピュレーション(操作)ベンチマーク全体で、直接ロボット制御におけるフロンティアエージェントのアクションレベル分析を体系的に提示する。研究チームは「AgentRoboCritic」という意図に基づく批評フレームワークを導入した。このフレームワークでは、ポリシーエージェントが各アクションと並行してローカルな意図を述べ、クリティックがこの意図に対してアクションの結果と失敗モードを評価する。

アクションレベル分析は、フロンティアエージェントが直接ロボット制御において持つ有望な能力を明らかにした。これには、局所的な実行失敗からのクローズドループ回復、多様なシーンにおける信頼性の高い意味的グラウンディング、およびタスク固有の適応なしでの強力なゼロショットマニピュレーションが含まれる。同時に、把持(グラッピング)やアライメント(位置合わせ)といったタスク関連の物理的実行ボトルネック、および失敗モード間の不均一な回復といった現在の限界も特定された。

最終的に、研究チームは400アクションの人間がアノテーション(注釈付け)したベンチマークでクリティックの妥当性を検証した。さらに、12,844のアノテーション付きアクションのデータセットと、ファインチューニングされたオープンソースクリティックMuse-Glimmer-30Bを公開した。これにより、その失敗モードの精度は32.58%から74.24%に向上し、低コストでのアクションレベル分析が可能になる。


参考: arXiv cs.RO (アーカイブ) — 2026年11月20日 03:57 (JST)

この記事をシェア
X はてブ LinkedIn