Apple ML Researchは2026年9月(現地時間)、ビジョン言語アクション (VLA) モデルが再利用可能なスキルを学習するためのシステム「REFACTOR-VLA」を発表した。既存のVLAモデルは動作を生成する際、モノリシックなアプローチにより多段階タスクでの性能が低く、学習内容の解釈が困難という課題を抱えている。「REFACTOR-VLA」はこの課題に対し、「wake/sleep」アーキテクチャを用いて再利用可能なスキルの学習を目指す。
「REFACTOR-VLA」は、既存のVLAモデルであるOpenVLA、π0、RT-2、RDT-1Bなどが抱える、動作を再利用可能な抽象化された行動として整理しないという問題に対応する。
既存のスキル発見手法が「行動的に等価」な動作シーケンスの判断という核心的な問題から回避しがちである中、「REFACTOR-VLA」は、行動同等性カーネル (Behavioral-Equivalence Kernel, BEK) を用いてモータープログラムのセグメントをクラスタリングする「sleepフェーズ」と、Hindley–Milner型システムに着想を得た語彙から型付きラムダ項を生成する「wakeフェーズ」を持つ。
これらのラムダ項は、ライブラリ条件付き整流フローアクションデコーダによってアクションを生成するために使用される。スキルとして受け入れられる抽象化は、最小記述長 (Minimum Description Length, MDL) 基準とリターン保存ゲートの両方を通過したものに限られる。「REFACTOR-VLA」の訓練は、世界モデルのウォームアップ (Phase A)、wakeフェーズのポリシー最適化 (Phase B)、sleepフェーズのスキル発見 (Phase C) の3段階で実施される。
LIBEROベンチマークスイートでの評価では、二つの主要な発見があった。第一に、世界モデルのサイズを1億8800万パラメータから4億3000万パラメータに増やしても、4つのベンチマークスイート全てで性能が悪化した。これは、世界モデルを大きくするだけで常に性能が向上するとは限らないという見方を示す。第二に、訓練目的の変更が大きな差を生み出した。特に、世界モデルのウォームアップ (Phase A) 中に補助的な教師あり対照損失 (InfoNCE loss) を追加することで、sleepフェーズ (Phase C) におけるスキルクラスタリングの品質が大幅に向上した。この品質向上は、オブジェクトスイートで0.462 ± 0.021、空間スイートで0.867 ± 0.025、ゴールスイートで0.915 ± 0.013、LIBERO-10スイートで0.754 ± 0.010の正規化相互情報 (Normalized Mutual Information, NMI) を示した。
参考: Apple ML Research (アーカイブ) — 2026年9月2日 09:00 (JST)
原文ハイライト"disproving the idea that just making the world model bigger always helps"