arXivが2026年9月10日(現地時間)に公開した論文で、基盤モデルの空間推論能力を評価する新たなベンチマーク「MindTopo」を発表した。MindTopoは、距離や形状といった計量特性に加え、連続的な変形に対して不変である位相幾何学的関係に焦点を当てる。認知科学と形式位相幾何学に基づき、連続性、分離、順序、囲い込み、結び目の5つの特性について、推論と計画の2つの認知レベルでモデルの直感を評価する。
このベンチマークは、13種類のプロシージャル生成されたタスクタイプにわたる11,030のインスタンスで構成されており、難易度を制御可能に設計されている。研究チームは、14のマルチモーダル大規模言語モデル（MLLMs）をベンチマークし、画像および動画生成で拡張されたエージェント構成も検証した。計画設定では、3つの動画生成モデルが組み込まれた。
評価の結果、すべてのMLLMが計画よりも推論で高い性能を示した。しかし、最も性能の良いモデルでも、観測された人間の性能からは大きく下回る結果となった。Qwen3-VL-2B-Instructモデルを用いた実験では、教師ありファインチューニングと強化学習が計画よりも推論の性能改善に寄与することが示された。
生成された観測結果は局所的な手がかりを保持し、妥当な終点に到達する傾向が見られた。しかし、監査されたロールアウトは、環境のダイナミクスに常に従うわけではなく、遷移全体でトポロジーを確実に保持しないという課題も浮上した。この研究論文の著者には、Yunfei Ge氏、Anbang Liu氏、Qineng Wang氏らが名を連ねている。
参考: arXiv cs.AI — 2026年9月11日 02:54 (JST)
原文ハイライト"Every MLLM performs better on reasoning than on planning"