arXiv cs.CLは2026年10月30日(現地時間)、乳幼児規模の視覚言語モデルにおける参照整合性向上に関する研究論文「GAVAGAI」を公開した。本研究は、次トークンキャプション目的が単語と視覚領域の直接的な対応付けを欠くという課題に対処するため、内容語と視覚領域間の割り当て問題として各シーンを扱い、エントロピー最適輸送（entropic optimal transport）を用いて解決する手法を提案。単語が指し示す対象をより確実に学習させることを目指している。
研究論文「GAVAGAI」では、視覚言語モデルにおける単語と参照対象の結びつきの信頼性向上が課題として提示されている。この課題に対し、各シーンを、聞き取った内容語と認識された領域間の小さな割り当て問題として捉えることで、この単語がその領域を指すという変数を追加する。
この割り当て問題は、エントロピー最適輸送（entropic optimal transport）を用いて2つの制約の下で解決される。一つは、単語が特定の領域ではなく特別な「NOTHING」列に割り当てられる可能性。これは、保育者の発話におけるほとんどの内容語が、視覚的に見えるものを指さないため考慮される。もう一つは、いかなる領域も割り当て総量の一定の割合以上を受け取らないという容量制約で、相互排他性をエンコードする。
制御されたシミュレーションにおいて、この手法の評価が行われた。全ての単語を何らかの領域に強制的に割り当てる単純な手法では、現実的な非参照率の下で単語と画像の正解率が0.000に低下した。これは、キャプション単独での0.058を下回る結果である。一方、提案された2つの制約を適用した場合、単語と画像の正解率はその状況で0.075、クリーンな入力では0.700に達した。
また、このモデルの単一パラメーター版は、3つの曖昧性条件において、成人における交差状況学習（cross-situational learning）の精度を再現した（RMSE 0.024）。SAYCamの乳児ビデオコーパスを用いた実験では、次トークンキャプションモデルにアライメント損失を追加することで、単語と画像の正解率が32.4%から48.7%に、ローカリゼーションIoUが0.18から0.38に向上した。
参考: arXiv cs.CL (アーカイブ) — 2026年11月4日 14:00 (JST)