arXiv cs.CVが2026年10月7日(現地時間)に公開した論文によると、マクシム・プリンスキー (Maksim Plinskiy) 氏ら研究チームは、動画分類の堅牢性を評価するためのモジュール式オープンソースベンチマークフレームワーク「VCR-Bench」を発表した。画像分類には複数の堅牢性ベンチマークが存在するが、動画分類に対応するものはこれまで不足していた。動画分類では、時間次元が敵対的攻撃、防御、前処理に追加の自由度をもたらし、評価の再現性と分析が困難である現状があった。
VCR-Benchは、動画の読み込み、分類器のラッパー、敵対的攻撃と防御、知覚メトリクス、設定プリセット、および結果のロギングを標準化する。これにより、これまで分散し互換性のなかった実装による評価の困難さを解消する。
このフレームワークは現在、30種類の動画分類モデル、14種類の敵対的攻撃、10種類の防御ラッパーを共通の評価プロトコル下で統合している。研究チームは、代表的な動画分類器、攻撃、防御をKinetics-400のサブセットで評価し、クリーンな精度、攻撃成功率、知覚品質、実行時間、メモリ使用量に関する結果を報告している。
VCR-Benchは、ドキュメント化されたインストール手順、再現可能な実行プリセット、コンポーネント拡張インターフェース、および報告された結果を再現するためのスクリプトとともにリリースされている。本論文はACM MM 2026で採択された。
参考: arXiv cs.CV (アーカイブ) — 2026年10月8日 13:00 (JST)
原文ハイライト"Robustness of image classification has several benchmarks, but their video counterparts are absent."