ゼペン・サン (Zepeng Sun) 氏らは2026年10月17日(現地時間)、arXiv cs.CVで公開された論文の中で、ストリーミング動画におけるオンライン行動検出 (OAD) の効率化を目指す新手法「CodecMotion-OAD」を発表した。同手法は、動画デコーディング中に得られるコーデックモーションベクター (MVs) を利用することで、既存の光フロー (optical flow) 抽出に伴う計算上の制約を解消する。これにより、OADの処理時間が大幅に短縮されることが示されている。
CodecMotion-OADは、オンライン行動検出 (OAD) の分野における既存の一時検出器アーキテクチャを維持しつつ、従来用いられてきた光フローを、動画デコーダーが提供するモーションベクター (MVs) に置き換える点が特徴です。
従来のOAD手法は、通常、モーション特徴として光フローに依存していましたが、光フローの抽出には計算コストが高く、リアルタイムアプリケーションにおけるボトルネックとなっていました。CodecMotion-OADは、圧縮ドメインのモーション情報、具体的には動画デコーディング中に既に利用可能なMVsを活用することで、この課題に対処します。
CodecMotion-OADの訓練は2段階で構成されます。まず、MV特徴を事前学習済みのフロー特徴インターフェースに、行動ラベルなしで整合させます。次に、RGB情報とMV情報を組み合わせた検出器を、グラウンドトゥルースラベルと、フローズン状態のRGB+Flowティーチャーからのソフト予測値を用いて訓練します。
著者らの知る限り、このアプローチはコーデックMVsをフレームレベルのOADに適用する初の試みです。研究チームは、THUMOS’14とMiniROADという2つの著名なデータセットを用いて、CodecMotion-OADの性能を評価しました。評価の結果、CodecMotion-OADは68.3 mAP (mean Average Precision) を達成しました。これは、既存のRGB+Flow手法の70.9 mAPと比較してわずかに低い数値です。
しかしながら、CodecMotion-OADは、デコーダーから予測までの処理時間において顕著な効率改善を示しました。CPU環境では処理時間を11.48倍削減し、GPU環境では2.04倍削減しました。この大幅な処理時間の短縮は、リアルタイムに近いOADシステムの実装において、計算効率が重要な要素となる場合に、特に有効な手法であることを示しています。
参考: arXiv cs.CV (アーカイブ) — 2026年10月21日 13:00 (JST)