arXiv cs.CVは2026年10月13日(現地時間)、ビデオワールドモデルの記憶力を評価するための新たなベンチマーク「WorldMemBench (ワールドメモベンチ)」を導入する論文を公開した。没入型インタラクティブ体験の長期化と現実味の向上に伴い、履歴と整合性のある仮想世界を維持することが不可欠となっている。視覚的忠実性や動画持続時間といった要素に加え、「世界記憶 (world memory)」の評価が、モデルの品質とリアリティを測る上で極めて重要であるとされている。
WorldMemBenchは、ビデオワールドモデルの世界記憶を体系的に評価することを目的として開発された。このベンチマークは、260のテストケースを通じて、モデルが仮想世界の状態をどれだけ効果的に記憶し、維持できるかを多角的に検証する。
評価は主に、静的記憶と動的記憶の二つの側面から行われる。静的記憶は、ビデオワールドモデルが時間とともに変化しない要素を保持する能力に焦点を当てる。具体的には、人間のアイデンティティとその外観、オブジェクトの外観と形状、そして環境のコンテンツと形状といった、仮想世界を構成する基本要素が時間の経過によって劣化せず、一貫性を保っているかを検証する。これは、ユーザーが再訪した際に同じキャラクターや物体が以前と同じ状態で存在するかどうかに関わる、体験の説得力に直結する能力である。
一方、動的記憶は、イベントの進行と状態の持続性を通じて評価される。これは、あるアクションの結果として生じた状態変化が、その後の時間軸に沿って適切に維持されるか、あるいは予期された通りに進行するかを見るものである。例えば、仮想世界内で一度破壊されたオブジェクトが、後に再訪した際にも破壊されたままであるか、あるいはキャラクターが行った行動の結果が、その後のインタラクションに影響を与え続けるかなどが評価対象となる。動的記憶の評価には、制御されたカメラの離脱と複数回再訪問する軌跡が利用され、静的コンテンツは初期参照に対する保持状況、動的イベントは期待される状態遷移に対して厳密に評価される。
このベンチマークでは、単に外観と形状の指標を測定するだけでなく、イベントに特化した評価を組み合わせることで、より包括的な記憶力診断を可能にする。さらに、補完的な診断情報として、生成されたビデオの品質と、カメラの追従精度も報告される。これらの情報は、モデルが記憶の失敗を経験する原因を特定する上で有用な手がかりとなる。
9種類の代表的なビデオワールドモデルに対する評価結果は、興味深い知見をもたらした。強力な静的保持能力を持つモデルが、必ずしも信頼性の高い動的な状態進化を保証するわけではないことが示された。また、モデルが同じ場所を複数回再訪問するシナリオでは、初回訪問以降に記憶の劣化が生じやすい傾向も明らかになった。これらの自動評価の結果は、人間による判断との整合性も確認されており、WorldMemBenchが高い信頼性を持つことを裏付けている。
WorldMemBenchは、ビデオワールドモデルが直面する記憶の失敗パターンを診断し、より持続的で時間的に整合性のある仮想世界を生成できるモデルの開発を導くための体系的なテストベッドを提供する。これにより、将来的にユーザーがより没入感のある、一貫したインタラクティブ体験を享受できるようなモデルの進化が期待される。
参考: arXiv cs.CV (アーカイブ) — 2026年10月15日 13:00 (JST)