Wenhao Yan氏らは2026年10月15日(現地時間)、マルチモーダル生成システムが世界の進化を予測する能力を評価する新たなベンチマーク「WorldCast」を発表した。人間が世界のマルチモーダルな観測を解釈し、その進化を予測する能力に焦点を当て、高レベルの予測タスクにおけるモデルの性能を評価する。
人間は世界のマルチモーダルな観測を解釈し、その進化を予測する能力を持っている。近年、マルチモーダル生成システムも同様の能力を示し、マルチモーダルなコンテキストを統合して世界の変化を描写する視覚出力を合成する。研究者らは、この新たな動向を特徴づけるため、モデルの能力を4段階の階層に整理。その結果、モデルの進歩にもかかわらず、高レベルのタスクが比較的に未開拓であることを発見した。
このギャップを埋めるため、論文著者らはmulti-step world state prediction（多段階世界状態予測）におけるモデルの性能を探求した。これは、モデルがマルチモーダルな観測と多様な参照から連続する未来の世界状態を予測することを要求する高レベルのタスクである。このようなタスクには、モデルが理解と生成の絡み合った能力、および人間のアクションシーケンス、物理的変換、抽象的な視覚的推論を首尾一貫した視覚出力に変換するための広範な世界知識を持つことが求められる。
研究チームは、WorldCast（ワールドキャスト）ベンチマークを導入した。これは、8つのカテゴリにわたる320の手動で設計されたケースで構成され、12の代表的なモデルを評価している。実施された実験からは、3つの重要な知見が得られた。
第一に、最先端モデルの進歩は、インテリジェントな世界モデリングの境界を急速に押し広げている。具体的には、GPT-Image-2.5 Systemが72.8点を記録し、実世界タスクにおける初期段階の視覚状態予測能力を示した。
第二に、WorldCastはモデル間に大きなギャップがあることを明らかにした。例えば、「Nano Banana Pro」はわずか42.8点に留まり、最良のオープンソースモデルでも20.1点であった。これらのモデルは、複雑なコンテキスト、絡み合った参照、および推論重視のタスクの処理に課題を抱えている。
第三に、強力な生成モデルは、その基盤となる言語モデルの能力を効果的に活用していることが示された。これらの発見は、動的な計画と推論が可能であり、実世界の状態を忠実にシミュレートするために深く統合されたマルチモーダル生成モデルの必要性を強調している。
参考: arXiv cs.CV — 2026年10月16日 13:00 (JST)
原文ハイライト"WorldCast: Exploring Intelligent Visual Generation in World State Prediction"