arXiv cs.CVは2026年10月15日(現地時間)、リアルタイムな音声・視覚対話エージェント向けの新たなエンドツーエンド・ストリーミングフレームワーク「JAVIS」が提案されたと報じた。研究者らは、既存の対話システムがテキストや音声に限定され、視覚的フィードバックが欠如している点を解決するため、JAVISを開発。単一の表現から音声と顔を同時に生成し、リアルタイムでの同期と低遅延を実現する。
人間のコミュニケーションが言語的、音声的手がかりだけでなく、視覚的信号によっても意図が伝達される多モーダルな特性を持つ点に着目したのがJAVISである。JAVISの主要なアイデアは、共有の大規模言語モデル（LLM）の基盤上に構築されたJoint Refined Headを用いて、統一された音声・視覚表現を生成することにある。
生成された表現は専用のストリーミングブランチに供給され、音声と顔の生成が行われる。このエンドツーエンド設計により、中間的なボトルネックを回避し、音声と顔の緊密な同期を維持しながらリアルタイムでの生成を可能にしている。これにより、より自然で表現力豊かな対話を実現することが期待される。
研究チームはまた、表情豊かな音声・視覚対話データの不足に対応するため、334時間におよぶ合成コーパス「JAVIS-Syn」を発表した。JAVIS-Synは、感情豊かな複数ターン会話やアシスタント形式の対話といった多様なシナリオをカバーしており、多モーダル対話エージェントの研究開発に貢献するとみられる。
実験の結果、JAVISは強力なベースラインと比較して、初期遅延を約200分の1に削減する優れた性能を示した。さらに、リップシンク（唇の動きと音声の同期）の正確さや表情の適切さにおいても、既存のベースラインを上回る結果を出している。これらの成果は、リアルタイム対話エージェントの分野における大きな進歩を示すものといえる。
参考: arXiv cs.CV (アーカイブ) — 2026年10月19日 13:00 (JST)
原文ハイライト"JAVIS: Joint Audio-Visual Interaction and Streaming for Real-Time Conversational Agents"