Kuan Zhang氏らの研究者グループは2026年10月20日(現地時間)、埋め込み型エージェントの継続的な事前学習（CPT）に関する研究論文をarXiv cs.AIで公開しました。この研究は、データ量、多様性、モデルサイズが仮想世界におけるエージェントの性能と汎化能力に与える影響を詳細に調査したもので、多様な仮想環境での埋め込み型学習における課題と可能性を提示しています。
本研究は、物理環境における埋め込み型学習の進展が、異なる視覚スタイル、ダイナミクス、制御、目標を持つ多種多様な仮想世界にどの程度適用可能かという問いを深く掘り下げています。研究チームは、データ量、多様性、モデルサイズの3つの主要軸にわたるCPTの厳密な制御研究を実施しました。
具体的には、モデルサイズについては8億から270億パラメータまでの4種類、データ予算は50時間から1,600時間までの6種類、そしてMinecraft単一データから多様なマルチワールドコーパスまでの5種類の混合比率を組み合わせた、合計120の訓練設定を構築しました。性能と汎化能力の評価は、3段階の検証損失と、訓練コーパス内の世界から未知の世界までを含む包括的なゲームプレイベンチマークを用いて行われました。
実験の結果、データ量の増加は訓練コーパス内での性能向上に寄与し、多様なデータセットは関連世界への転移学習を改善するものの、遠く離れた世界への効果は限定的であることが示されました。モデルサイズはデータ効率を向上させる一方で、単一世界での訓練では遠い世界への汎化性能が低下する傾向が確認されています。また、広範なクロスワールドでの利益をもたらす初期のインターフェース段階と、コーパス内および関連世界に限定される後期の世界段階が観察されました。これらの観察に基づき、検証損失とデータ量、多様性、モデルサイズを関連付ける経験的スケーリング法則が導出されています。
さらに、開発されたモデルは3D仮想世界において、Minecraftに特化したモデルや他の最先端モデルと同等の競争力を持ち、リアルタイム設定で最高の性能を発揮できることが判明しました。しかし、模倣学習の限界と遠い世界における持続的なギャップは、汎用的な埋め込み型エージェントを構築するためには、継続的な事前学習だけでなく、より豊かな訓練段階が必要であることを示唆しています。論文は、将来の研究がこのギャップを埋めるための革新的な方法を探求することの重要性を強調しています。
参考: arXiv cs.AI (アーカイブ) — 2026年10月23日 13:00 (JST)
原文ハイライト"Continued Pre-Training For Embodied Agents In Diverse Virtual Worlds"