ウーイル・リー (Wooil Lee) らの研究チームは2026年11月5日(現地時間)、動画理解モデルが抱える課題、特に予測を導くモーションソースの不明瞭さに対処する新たなフレームワーク「TraCE (Trajectory-Aware Concepts for Explainable Video Understanding)」を発表した。この概念ベースのフレームワークは、光学フロー軌跡のクラスタリングを通じてソース柔軟なモーション概念を発見し、その詳細がarXivにて公開された。
動画理解モデルは動画中のモーションに大きく依存するものの、既存の説明可能なAI (XAI) 手法では、どのモーションソースが特定の予測を裏付けているかが不明瞭になるという課題が指摘されている。研究チームは、領域中心の説明がソースの曖昧さを生む可能性や、単一人物の姿勢シーケンスに限定されたモーション語彙が説明ソースとして不完全であることを、既存の動画XAIにおける主要な問題点として特定した。
提案されたTraCEは、トレーニング動画から光学フロー軌跡をクラスタリングすることで、ソースに柔軟なモーション概念を自動的に発見する。これらの概念は、人物、オブジェクト、インタラクションといった動的な要素からの証拠を表し、オブジェクトやシーンに関する概念は静的なコンテキストの説明に用いられる。これにより、動画中の複雑な動きや状況をより詳細に、かつ解釈可能に捉えることを目指している。結果として得られる型付けされた軌跡/オブジェクト/シーンインターフェースは、アクション認識におけるクラス予測と、動画質問応答 (VQA) における質問条件付き概念マッチングを高い精度でサポートする。
TraCEの評価は、NTU RGB+D Mutual、Chiral SSv2、UCF-101、KTH、TOMATO、STARの6つの代表的なベンチマークデータセットに対し、5つの異なるランダムシードを用いて実施された。実験の結果、TraCEは非解釈可能なベースラインモデルと比較して競争力のあるタスク性能を維持し、アクション認識タスクでは平均1.0ポイントのわずかな精度低下に留まる一方、VQAタスクでは名目上0.4ポイントの精度向上が確認された。
さらに、モーション摂動テストと概念削除テストを実施したところ、これらのテストはTraCEの概念がモデルの決定にどのように寄与しているか、つまり方向性のある意味的アライメントと決定の忠実性を示す補完的な証拠を提供した。また、サンプルレベルでの介入実験は、TraCEが的を絞ったモデルのデバッグを可能にすることも示している。本論文は、コンピュータビジョンと機械学習の国際会議NeurIPS 2026で採択されている。
参考: arXiv cs.CV (アーカイブ) — 2026年11月6日 14:00 (JST)
原文ハイライト"concept-based framework that discovers source-flexible motion concepts by clustering optical-flow trajectories"