Microsoft Research は2026年8月12日(現地時間)、視覚言語モデル (VLM) のトポロジー的推論能力を評価する新しいベンチマーク「MindTopo」を発表した。このベンチマークは、AIが連結性、包含性、順序、分離性、結び目といった概念を理解し、一連の動作を通じてそれらを維持・操作できるかを測定する。
MindTopo は、静的画像におけるトポロジー関係の認識と、インタラクティブなタスクを通じてこれらの関係を維持・操作する能力の両方を評価します。現在のVLMは静的認識で高い性能を示すものの、インタラクティブな計画タスクでは一貫したトポロジー理解を維持することに課題を抱えています。
MindTopoは、連続性 (Continuity)、分離性 (Separation)、順序 (Order)、包含性 (Enclosure)、結び目 (Knots) の5つのカテゴリで評価を行います。各カテゴリは、静的シーンに関する質問に答える「推論タスク」と、シミュレートされた環境で特定の関係を作成・維持・削除する動作を選択する「計画タスク」の2つの認知レベルで測定されます。
広範なモデルでテストした結果、静的推論の性能はインタラクティブな計画よりも一貫して高く、いずれも人間レベルには達していません。エラーパターンは、静的な間違いが知覚に起因するのに対し、計画の間違いはシーンを理解した後でも、モデルが構造的関係を追跡できない、または物理的制約に違反する行動を提案する際に発生することが示されました。MindTopoは、ロボットやインタラクティブ環境向けのAIシステムを改善するための重要な機会を提供します。
参考: Microsoft Research Blog — 2026年8月13日 01:00 (JST)
原文ハイライト"MindTopo is a new benchmark for testing topological reasoning in AI"