arXiv cs.CV が2026年9月2日(現地時間)付けで報じたところによると、視覚障がい者向け映画のオーディオ記述 (AD) 生成に関する新たな研究論文が発表された。本論文では、映画の視覚イベントに対して「何を」「いつ」記述するかを同時に予測する2段階のパイプライン「Cue2Narrate (キューツーナレート)」を提案している。従来のAD生成における課題解決を目指し、同手法は新たなベンチマーク上で既存のベースラインを上回る性能を示した。
オーディオ記述 (AD) は、映画のセリフの合間に視覚イベントの音声解説を提供し、視覚障がい者にとってのアクセシビリティを向上させる技術である。この問題は、最高のユーザー体験を実現するために、どの視覚イベントを記述するか（「何を」）、そしてADを挿入する最適な位置（「いつ」）を決定する必要がある。これまでの研究では、問題を事前にセグメント化されたビデオクリップのビデオキャプション生成に簡略化しており、「何を」はほぼ事前に定義され、「いつ」は完全に無視されてきた。
論文では、より長い未編集の映画クリップにおいて「何を」「いつ」記述するかを同時に予測するCue2Narrateを提案している。Cue2Narrateは2段階のパイプラインで構成されており、デュアルヘッド音声・視覚ローカライザーがADの各発話に対して、視覚キューウィンドウと音声解説ウィンドウという二つの時間的に異なるウィンドウを予測する。その後、LoRA (Low-Rank Adaptation) を適用したVLM (Vision-Language Model) が、予測された視覚的証拠に基づいて簡潔なADを生成する。このVLMは、同じフレームのキャプション（ネガティブサンプル）をGround Truth (GT) のADよりも低くランク付けするDescription Ranking Loss (デスクリプション・ランキング・ロス)を用いて学習される。
この新たな問題提起を評価するため、研究者らは最大8分（平均約6.5分）の映画クリップを含むLongLSMDC (ロングLSMDC)ベンチマークを導入した。LongLSMDC上での評価では、Cue2Narrateはビデオのみおよびオーディオのみのローカライゼーションベースラインを平均mAP (mean Average Precision) で5〜12ポイント上回る結果を示した。予測されたウィンドウとGTウィンドウのいずれの評価においても、Cue2Narrateは対応するファインチューン済みベースVLMと比較してAD生成を改善している。これらの結果は、長尺クリップにおけるマルチセグメントAD生成の初のベンチマークを確立するものである。本研究はEMNLP本会議で採択された。
参考: arXiv cs.CV — 2026年9月3日 13:00 (JST)
原文ハイライト"Audio Description (AD) provides spoken narration of visual events during dialogue gaps"