arXiv cs.CVは2026年10月16日(現地時間)、部分的で変化する知覚情報から質問に答えるエンボディド・ビジョン言語モデル（E-VLM）の推論能力を大幅に向上させる新フレームワーク「EKT-Router」に関する研究論文を発表した。このシステムは、内部処理の適応を担う「能力専門家」と外部証拠を取得する「知覚ツール」に加え、「オプションの知識」を連携させ、これらを共同で選択・活用することで、既存モデルが抱える課題を解決する。複数のベンチマークにおいて、EKT-Routerは優れた性能を示したと報告されている。
エンボディド・ビジョン言語モデル（E-VLM）は、ロボティクスや仮想アシスタントといった分野で応用が期待されており、不完全かつ動的に変化する知覚情報に基づいて複雑な質問に回答する能力が求められる。その成功は、選択される推論能力と、利用可能な外部証拠の双方に大きく依存する。これまでのアプローチでは、内部計算を調整する能力専門家と、外部証拠を取り込むためのツール拡張システムが独立して機能を選択することが多く、その結果、適切な専門家が必要な証拠にアクセスできないといった非効率性が生じる可能性があった。
この課題に対処するため、ウェイリン・ルアン（Weilin Ruan）氏らの研究チームは、境界付きフレームワークである「EKT-Router」を提案した。本システムは、能力専門家（capability expert）、オプションの知識、知覚ツール（perceptual tools）という3つの要素を共同で選択・活用することを特徴とする。具体的には、汎用（General）、空間推論（Spatial Reasoning）、時空間（Spatiotemporal）といった異なる専門分野を持つ専門家たちの重なる強みを、成果由来の署名（Outcome-derived signatures）として表現する。そして、共同効用（joint utility）の概念に基づき、与えられた呼び出し予算（call budget）の下で、専門家と証拠の最適な組み合わせ経路を包括的に評価する仕組みを導入している。
証拠の取得プロセスにおいては、パケット検証器（packet verifier）が、予測される専門家条件付きゲインが正である有効な証拠のみを受け入れる。その後、選択された専門家が一度回答を試みるが、もし全ての情報パケットが拒否された場合は、システムの判断は変更されていない元の観測情報へと復帰する。これにより、EKT-Routerは不確実な状況下でも堅牢な意思決定を可能にする。
実験の結果、EKT-Routerは6つのエンボディドQAベンチマークにおいて平均スコア61.4を達成し、比較対象のシステム群の中で最高性能を記録した。さらに、10の汎用ビジョン言語ベンチマークにおいても平均74.7という高いスコアを示している。特筆すべきは、外部証拠の利用を全て無効化した場合でも、質問の条件に基づいた専門家の選択のみで、固定された最良の専門家を使用した場合と比較して1.75ポイントの改善が見られた点である。アブレーション研究（Ablations）を通じて、学習されたルーティング機能がシステムの中核的な構成要素であることが明確になり、知識と知覚が相補的な役割を果たすことが示唆された。これらの知見は、E-VLMの推論能力向上に向けた新たな道筋を示すものである。
参考: arXiv cs.CV (アーカイブ) — 2026年10月27日 13:00 (JST)