Apple ML Researchは2026年7月(現地時間)、一人称視点（egocentric）ビデオ理解モデルにおける時間的認識を促進する新アルゴリズム「Temporal Global Policy Optimization (TGPO)」を発表した。マルチモーダル大規模言語モデル（MLLMs）が視覚理解で優れた性能を示す一方、時間的推論の不足が課題とされており、TGPOはこの課題に対処する。これはAR/VRデバイスにおける次世代AIアシスタントの基盤技術となる可能性を秘める。
マルチモーダル大規模言語モデル（MLLMs）は視覚理解において高い性能を発揮する一方で、一人称視点の設定ではイベントの正しい順序と進化に基づいた推論が必要とされ、時間的認識の不足が課題となっている。この不足は、時間的推論を明示的に評価しない訓練目的と、フレームレベルの空間的ショートカットへの依存に起因するとされる。
この課題に対し、Apple ML ResearchはTemporal Global Policy Optimization (TGPO)を提案した。これは、検証可能な報酬を用いた強化学習（RLVR）アルゴリズムであり、MLLMsにおける時間的認識を促進するよう設計されている。TGPOは、時間的に順序付けられたビデオフレームとシャッフルされたビデオフレームから生成されたモデル出力を比較し、時間的に一貫した推論を明示的に促進するよう調整された報酬信号を導出する。
TGPOは、既存の強化学習フレームワークであるGRPOおよびGSPOと統合されており、コールドスタート強化学習（RL）訓練をサポートし、既存のMLLMsが学習した空間的ショートカット行動を効果的に抑制する。5つの一人称視点ビデオベンチマークを用いた実験では、TGPOが時間的グラウンディングと因果的コヒーレンスを一貫して改善し、これまでのRLベースのビデオ推論手法を上回る結果を示した。この成果は、一人称視点ビデオ理解のための時間的に堅牢なMLLMsへのシンプルかつスケーラブルな経路を提供するものと、Apple ML Researchは説明している。この研究はZhiyang Xu、Tian Qin、Bowen Jin、Zhengfeng Lai、Meng Cao、Lifu Huang、Peng Zhangの各氏によって行われた。
近年、Googleの「Project Astra」やMetaの「Ego-Exo4D」など、競合他社も一人称視点やリアルタイムの文脈理解に注力しており、特にGoogleは人間のような理解と対話を目指す戦略を採る。MetaのEgo-Exo4Dは大規模な一人称・三人称視点データセットを提供し、行動理解の基盤を築いている。NVIDIAもロボティクスやシミュレーション分野で時間軸に沿った知覚・行動予測技術を開発しており、これらの技術は実世界でのAIアシスタントやロボットの振る舞いを司る上で不可欠となる。
TGPOの発表は、AppleがApple Vision ProのようなAR/VRデバイスで実現を目指す空間コンピューティングや、よりパーソナライズされたAIアシスタントの実現に向けた重要な一歩と見られる。一人称視点AIは、ユーザーの行動や意図をリアルタイムで正確に把握し、文脈に応じた適切な支援を提供するために不可欠な技術基盤となる。実務者にとっては、TGPOのような時間認識能力を持つAIモデルを活用することで、AR/VRアプリケーションにおけるユーザーエクスペリエンスの向上や、次世代のウェアラブルデバイス向けAI機能の開発に新たな道筋が開かれる可能性がある。これにより、より高度な状況認識と先回りしたアシストが可能になると期待される。
参考: Apple ML Research — 2026年7月9日 09:00 (JST)
原文ハイライト"Incentivizing Temporal-Awareness in Egocentric Video Understanding Models"