Appleは2026年9月10日(現地時間)、動画キャプションの品質評価に関する新たな参照不要ベンチマーク「CapQuiz」と、複合評価指標「CapF1」を発表した。既存の評価指標が抱える「one-to-many」な性質や語彙の不一致による不正確な評価、およびきめ細やかな分析の不足という課題に対応するため、情報忠実度に基づく品質評価手法を提案している。
Visual Large Language Models (VLLMs) における動画キャプションの評価は依然として重要な課題とされている。既存の評価指標は、生成されたテキストと正解参照との一致に主に依存しているが、これは動画の説明が「one-to-many」である性質や、語彙の不一致によって高品質なキャプションが不当に評価される問題を生じさせていた。また、これらの評価は通常一次元であり、キャプション品質のきめ細やかな分析を提供できていなかった。
Appleの研究者らは、これらの課題に対処するため、キャプション品質を情報忠実度として再定義した。これは、厳密な事実性を確保しつつ、顕著な視覚情報の網羅範囲を最大化することを目的とする。新たに導入されたCapQuizは、動画から派生した人間が検証済みのきめ細やかな多肢選択式質問への回答能力に基づいてキャプションを評価する、独自の参照不要ベンチマークである。CapQuizは、記述的 (Descriptive) カテゴリと推論的 (Inferential) カテゴリにまたがる10種類の質問タイプと、24の多様な動画ドメインにわたる階層的な分類を特徴としている。
さらに、CapF1という複合指標を考案した。これは事実性を測定するCapPと網羅性を測定するCapRを統合したものである。広範な実験の結果、CapQuizは既存の指標よりも人間の判断と有意に高い相関を示し、モデル性能に関する解釈可能な洞察を提供することが実証された。論文の著者には、Zizhen Wang、Bo Feng、Zhengfeng Lai、Shiyu Li、Yang Lu、Meng Cao、Ping Huang、Simon Wangが名を連ねており、Zhengfeng LaiはApple在籍中にこの研究に携わった。
参考: Apple ML Research (アーカイブ) — 2026年9月11日 09:00 (JST)
原文ハイライト"Evaluating video captioning remains a critical challenge for Visual Large Language Models (VLLMs)."