イーフェイ・ヤオ (Yifei Yao) 氏らは10月26日(現地時間)、学術誌arXiv cs.ROに公開された論文で、フロンティアマルチモーダル大規模言語モデル (MLLM) であるGPT-6-Astraを中核とするロボット制御エージェントの能力を、評価環境Eベンチ (EBench) を用いて検証したと発表した。本研究は、ロボット固有の訓練なしにMLLMがロボットを制御する可能性を詳細に評価するとともに、訓練済みの視覚言語行動 (VLA) および世界行動モデル (WAM) ポリシーとの連携戦略についても分析している。
本研究で評価されたエージェントは、エージェントハーネスを介してロボットを制御し、視覚および自己受容観測プロトコルは訓練済みのポリシーと同一の条件が適用された。研究では、エージェントの2種類の構成が検討されている。
一つは、エージェントがロボットの行動を決定するウェイポイントコマンドを直接生成するダイレクト制御 (direct control)方式である。もう一つは、訓練済みのVLAまたはWAMポリシーを呼び出してアクションを実行させるポリシー連携ハーネス (harness with policy)方式だ。後者のアプローチでは、MLLMが上位レベルの計画と推論を担当し、下位レベルの実行は既存の高性能なロボットポリシーに委ねられる。
ダイレクト制御の評価では、GPT-6-Astra基盤のエージェントが、多くの短期タスク (short-horizon tasks) において訓練済みポリシーと比較して競争力のある全体性能を示した。特に、汎化次元 (generalization dimensions) 全体で性能変動が最も少ないという安定性が確認され、多様な状況への適応能力の高さが示唆された。しかしながら、長期タスク (long-horizon tasks) や卓上操作 (tabletop manipulation)、そして高精度で接触が多いタスク (high-precision contact-rich tasks) においては、その性能は訓練済みポリシーに劣る結果となった。これは、複雑な連続的な動きや精密な物理的インタラクションを必要とするシナリオにおいて、MLLMの限界があることを示していると筆者らは指摘している。
ポリシー連携ハーネスの構成では、訓練済みVLAまたはWAMポリシーを呼び出すことで、両コンポーネントの相補的な強みが組み合わされることが明らかになった。この連携により、全体のタスク成功率は最も強力な比較対象の訓練済みポリシーのレベルまで向上し、さらにエージェント側のトークンコストも大幅に削減された。しかし、最適ではないポリシー呼び出し、サブゴールなしの固定指示実行、エージェントが制御を再開する際の把持妨害 (grasp disruption) など、いくつかの課題も浮上した。これらの要因により、単独コンポーネントでのタスクごとの上限性能には及ばなかったと筆者らは報告している。
この研究は、フロンティアMLLMエージェントの能力の限界を特徴づけるとともに、将来のエージェントハーネス設計を改善する方向性を示唆すると筆者らは指摘している。特に、MLLMと訓練済みポリシーの協調を最適化するメカニズムの改善が、より堅牢で効率的なロボット制御システムの実現に不可欠であると結論付けている。
参考: arXiv cs.RO (アーカイブ) — 2026年10月27日 02:51 (JST)
原文ハイライト"Profiling a Frontier Agent with EBench"