arXiv cs.CVは2026年10月22日(現地時間)、eスポーツのライブ配信において、カメラ選択による演出と解説を単一のストリーミングビデオ言語モデル「DirCast」で実現する研究成果を発表した論文を公開した。本モデルは、人間のディレクターが制作した放送に解説を加える従来の手法と異なり、生の選手カメラ映像を受け取り、過去のデータのみに基づいてリアルタイムで演出と解説を同時に行う。これにより、配信制作の効率化と品質向上に寄与する可能性が示されている。
Zixian Gaoらが発表した論文によると、ライブeスポーツ配信は、次に何が起こるか予測できない状況で、毎秒ごとに放送するカメラを選択するディレクターと、その選択について解説するコメンテーターを必要とする。従来のストリーミングビデオ言語モデルは、人間のディレクターが既に制作した放送に対してのみ解説を行うものだった。
「DirCast」は、単一のストリーミングビデオ言語モデルとして、この演出と解説の両方を担う。同モデルは毎秒、すべてのカメラを低解像度でスキャンし、保持または切り替えのディレクター機能によって、どこに切り替えるかを判断する。その後、選択されたカメラを高解像度で読み込み、解説を行う。「DirCast」のコンテキストは放送された内容と発言を保持し、その他の視点は期限切れとすることで、任意の長さのストリームのコストを制限する。
研究チームは、各ヒーローにカメラが設定された27のプロフェッショナルなDota 2の試合、人間のディレクターの選択、およびコメンテーターの解説を含むデータセットを構築した。評価の結果、「DirCast」はルールベースのディレクターやGPT-5を含むゼロショットディレクターよりも優れた演出能力を示した。また、解説機能においては、Proact-VLプロトコルに基づくGPT-4oとの比較で29.2パーセントの勝率を達成。これは、人間の放送を視聴する11のストリーミングコメンテーターの最強モデルが記録した19.4パーセントを上回る結果となった。
参考: arXiv cs.CV — 2026年10月26日 13:00 (JST)
原文ハイライト"Live Esports Directing and Commentary with a Single Streaming Video-Language Model"