arXiv cs.CVは2026年11月12日(現地時間)、マルチモーダル言語モデルにおける視覚入力の符号化に関する新たな研究成果を論文「Unbundling Multimodal Vision Encoding」として発表しました。本研究は、既存モデルが視覚エンコーダに依存する現状に対し、視覚の事前知識、専用の視覚容量、事前融合配置という三つの設計要素を分解して分析。共通データと計算リソースを用いたフレームワークでモデルを事前学習させ、視覚的質問応答と言語ベンチマークで比較検証した結果が示されています。

本研究は、マルチモーダル言語モデルが視覚入力をどのように符号化すべきかという中心的な課題に焦点を当てています。既存のモデルは事前学習済みの視覚エンコーダを利用する傾向があるものの、一部のモデルではエンコーダを言語モデルと共にゼロから学習させるか、完全に削除しています。

論文では、視覚エンコーダが持つ三つの設計選択肢を分離して評価しました。これらは、アップストリームの事前学習によって得られる視覚の事前知識、モデルに組み込まれる専用の視覚容量、およびその容量のマルチモーダルバックボーン前への事前融合配置です。

実験では、全てのモデルを共通データ上でゼロから事前学習させ、同等のライフタイム計算量で性能を比較しました。その結果、視覚の事前知識は必ずしも必要ではないことが明らかになりました。ゼロから共同で訓練されたエンコーダは、別途の訓練ステージなしで事前学習されたエンコーダと同等の性能を示しています。研究では、代わりに重要であるのは専用の視覚容量であると指摘しています。エンコーダフリーのモデルは、バックボーンのパラメータ数をエンコーダ相当に増やしても、視覚理解能力において劣る結果となりました。

しかし、その視覚容量がマルチモーダル融合の前に配置される必要はないことも示されました。バックボーンの初期層に融合で追加された視覚専用モジュールは、事前融合エンコーダと比較して同等の性能を発揮し、最初のトークンまでの時間を短縮できる可能性が示唆されています。これらの結果は、バックボーンのサイズ、エンコーダの事前学習が無料とみなされる場合、および事前学習済み言語モデルから開始する場合でも維持されました。全体として、本研究の知見は、バックボーンと共同で訓練され、その早期に配置される専用の視覚容量の有効性を支持するものです。


参考: arXiv cs.CV (アーカイブ) — 2026年11月13日 03:59 (JST)

この記事をシェア
X はてブ LinkedIn