ハオラン・シュー (Haoran Xu)氏らの研究グループは2026年11月19日(現地時間)、マルチモーダル大規模言語モデル (MLLM) の視覚推論能力を向上させる新手法「VisAlloc (ビスアロック)」を発表した。この手法は、オンポリシー・セルフディスティレーション (on-policy self-distillation、OPSD) における視覚的教師あり学習の割り当てを最適化する。サンプルレベルのフィルタリングとトークンレベルの再重み付けを組み合わせたデュアルレベルのフレームワークを採用し、既存の OPSPD 手法を上回る性能を達成した。関連論文は arXiv (アーカイヴ) にて公開された。

ハオラン・シュー (Haoran Xu)氏らの研究グループは、OPSD における均一なトークン監視が視覚的なシグナルを希釈する課題に対応するため、VisAllocを提案した。

VisAllocは、サンプルレベルの視覚フィルタリングとトークンレベルの反実仮想的再重み付けを組み合わせたデュアルレベルのフレームワークである。固定されたペアティーチャーフィルターが、エビデンス中心のポジティブな切り抜きからは正しく回答されたものの、空間的にずれたネガティブな切り抜きからは誤って回答されたサンプルを保持する。

トークンレベルでは、指数移動平均 (EMA) 教師が同じ学生生成応答を評価し、それらの対数確率差の絶対値によって視点感度が測定される。追加の教師あり学習は、感度または教師分布の不一致によって許容されたトークンをターゲットとする。これは、共有されたフローズン事前分布、テンプレートバイグラム、および学生と教師の乖離ゲートを通じて行われる。逆頻度再分配により、各マイクロバッチ内の総追加重みが維持され、ポジティブティーチャーが唯一の蒸留ターゲットとなる。推論時には、完全画像学生のみが必要とされる。

8つのベンチマークにおける評価では、40億パラメータモデルがマクロ平均81.44を達成し、これはVision-OPDの再現結果を0.97ポイント上回る。また、90億パラメータモデルは84.92を達成し、Vision-OPDの再現結果を0.52ポイント上回る数値を示した。関連コードはGitHubにて公開されている。


参考: arXiv cs.CV — 2026年11月20日 14:00 (JST)

この記事をシェア
X はてブ LinkedIn