arXivは2026年9月3日(現地時間)に公開された論文で、Ye-Chan Kim氏らの研究チームが、疎な監視下での高密度動画キャプション生成（Weakly-Supervised Dense Video Captioning）向けに新しいフレームワーク「Seeing Before Synthesizing (SBS)」を提案したと発表した。このSBSは、ビジョン言語モデル（VLM）を活用し、動画内のイベント間ギャップにおける遷移イベントを視覚的に根拠のある形で特定・記述する。従来の課題であった視覚的根拠の欠如や固定的な時間割り当てに対応し、ActivityNet CaptionsとYouCook2のデータセットを用いた実験で、最先端の性能を達成した。
Weakly-Supervised Dense Video Captioningは、未編集の動画に対し、イベントレベルのキャプションが順序付けられたセットのみを与えられた状態で、動画内の複数のイベントを特定し記述することを目的とする。最近の研究では、大規模言語モデル（LLM）を用いて補助的な遷移キャプションを合成し、追加の視覚とテキストのアライメントを提供する手法が試みられてきた。
しかしながら、これらのLLMベースの遷移キャプションは、視覚的な根拠に乏しく、各イベント間ギャップに固定された位置と期間で機械的に割り当てられるという課題を抱えていた。この結果、動画の内容とキャプションの間に不整合が生じることがあった。
これに対し、Ye-Chan Kim氏らが提案するSBSフレームワークは、必要とされる箇所にのみ視覚的に根拠のある言語的ガイダンスを適応的に提供する。このフレームワークは、ビジョン言語モデル（VLM）を活用し、イベント間のギャップに対してフレームレベルのナラティブを生成する。生成されたナラティブにおける意味的変化から遷移を検出することで、従来の課題に対処する。
特定された遷移イベントについては、イベント間の時間的マスクをさらに洗練するプロセスを経る。具体的には、時間的な中間点と意味的な変化点をブレンドし、視覚とテキストのアライメントを最大化する最適な幅を選択する。この適応的な時間割り当てのアプローチにより、従来の課題であった視覚的根拠の不足や固定的な割り当ての問題を効果的に解決する。
研究チームは、ActivityNet CaptionsとYouCook2という、動画キャプション生成において広く用いられる2つのデータセットを用いてSBSフレームワークの性能を評価した。その結果、SBSは高密度動画キャプション生成におけるキャプション性能と、イベント特定性能の両方で、これまでの最先端の性能を上回ることを実証した。この研究は、2026年のEMNLP (Empirical Methods in Natural Language Processing) に採択されることが決定している。
参考: arXiv cs.CV (アーカイブ) — 2026年9月4日 02:58 (JST)
原文ハイライト"Seeing Before Synthesizing"