研究者らは9月1日(現地時間)、JEPA (Joint Embedding Predictive Architecture) スタイルのワールドモデルで新たな課題を発見し、その解決策を発表した。彼らは、潜在空間モデルが重要な物理特性を捉えきれない『物理的表現怠惰』と呼ばれる失敗モードを特定。これを克服するため、訓練時に軽量な『Fourier auxiliary head』を用いる手法を提案した。このアプローチにより、推論時の追加コストなしに潜在空間へ物理情報に基づく構造化を促し、計画性能の大幅な向上を実現したという。
潜在空間ワールドモデルは、ピクセル空間での複雑な処理を避け、より効率的な予測と計画を可能にする手法として近年注目を集めている。LeWorldModel (LeWM) などの先端的なアーキテクチャは、表現崩壊を防ぐためにSIGRegのような正規化技術を用いてエンコーダと予測器を共同で訓練するアプローチを採用している。
しかし、今回研究者らが明らかにしたのは、これらの正規化技術が適用されてもなお発生しうる新たな失敗モード『物理的表現怠惰』だ。この現象は、特に物理法則が複雑に作用する動的な環境下で顕著に現れる。具体的には、学習された潜在状態自体は崩壊しないものの、オブジェクトの質量や速度といった重要な物理特性が潜在空間に適切に表現されず、結果としてロボットのアーム制御や物体の押し出しといった下流の計画タスクにおいて失敗を招くという。
この深刻な問題に対処するため、研究チームは訓練時専用の補助学習モジュールとして『Fourier auxiliary head』を提案している。この軽量なヘッドは、潜在空間に物理情報に基づいた構造化を強制する役割を担う。訓練プロセス中にのみ利用されるため、モデルが実環境で推論や計画を行う際の計算コストやレイテンシーは増加しない点が大きな利点だ。この手法は、どのような物理環境にも適用可能であり、高い汎用性を持つ。
実験では、提案された補助ヘッドが、ベースラインのLeWMが物理的表現怠惰に陥りがちな動的環境において、計画成功率を劇的に改善することが実証された。例えば、特定の障害物回避タスクや物理シミュレーション環境での物体操作において、LeWM単独では達成困難だった成功率を、この手法が適用されたモデルは大幅に上回った。また、ベースラインモデルが既に良好な性能を示す環境においても、Fourier auxiliary headを導入することで、わずかではあるがさらなる性能向上が確認された。
さらに重要な知見として、優れた計画性能は、潜在空間が主要な物理特性と高い相関を持つことと密接に関連していることが観察された。これは、提案手法が潜在状態を物理的に意味のある形で構造化する能力を有しており、その物理的な構造化がモデルの計画能力に直接的な利益をもたらすことを強く示唆している。データ量が少ない、いわゆる「データ効率が低い」状況下においても、この補助教師あり学習は成功率の向上に特に効果的であると報告されており、限られたデータからの学習においても高いロバスト性を示す。これらの結果は、潜在空間ワールドモデルの全体的な成功率とデータ効率を向上させ、これまで回避が困難であった表現怠惰の問題を解決する上で、Fourier auxiliary headが非常に有効な手段であることを明確に裏付けている。
参考: arXiv cs.LG — 2026年9月7日 13:00 (JST)