チャン・ニエ (Chang Nie) 氏らは2026年7月6日(現地時間)、学術論文公開サイトarXiv cs.CVにて、長期記憶を持つエージェント型動画理解のためのマルチモーダルエージェントフレームワーク「Light-Omni」を発表した。同フレームワークは、従来の反復推論に代わる反射的かつ軽量な動画理解を実現し、デュアル文脈状態を用いて単一フォワードパスで必要な文脈を構築する。
Light-Omniは、グローバル状態とパラメトリック潜在状態という二つの文脈状態を保持する。グローバル状態は、エピソード記憶から継続的に統合される有限サイズのマルチモーダルスクリプトであり、Light-Omniのグローバル文脈として機能する。これは階層的マージを通じて、過去のイベントを要約しつつ、最近の詳細を保持する。
グローバル文脈に基づき、パラメトリック潜在状態が生成される。この状態は、自律的なアクションを直接駆動し、検索埋め込みを最小限の遅延で生成する。Light-Omniは、この結合された設計により、反復推論を回避しながら、意味的に整合した検索と反射的応答を達成する。
広範な実験により、Light-Omniの有効性が複数の動画ベンチマークで検証された。既存のM3-Agentと比較して、平均2.4%の精度向上、12.1倍の速度向上、および2.6倍のGPUメモリ効率改善を達成した。さらに、既存のマルチモーダル大規模言語モデル (MLLMs) の性能と効率を向上させるメモリシステムとしても機能すると、研究チームは述べている。
Light-Omniが提示する「反射型」のエージェント動画理解は、リアルタイム性やリソース効率が重視されるエッジAIや自律システムへの適用可能性が論文内で示唆されている。特に、複雑な推論を必要とせず、単一フォワードパスで迅速な応答を可能にする設計は、自動運転、ロボティクス、ライブストリーミングコンテンツ分析といった低遅延が求められる応用において、新たな解決策となり得ると論文では指摘されている。これにより、AIエージェントがより動的な環境下で状況を理解し、適切な行動をとる能力向上に寄与することが期待される。
参考: arXiv cs.CV — 2026年7月8日 13:00 (JST)