シャオ・シエ (Shiao Xie) 氏、シユ・チェン (Siyu Chen) 氏、ジアンウェイ・ル (Jianwei Lv) 氏、シヤンドン・リ (Xiandong Li) 氏、ユージン・ワン (Yujin Wang) 氏は2026年10月19日(現地時間)、arXivに「Reinforcement Learning with Visually Attributable On-Policy Self-Distillation」と題する論文を提出した。同論文は、マルチモーダル強化学習における視覚的推論のエラー特定に関する課題に対処するため、視覚的証拠に根ざした新しい強化学習パラダイムを提案している。
この新しいパラダイムは、視覚的に帰属可能なオンポリシー自己蒸留による強化学習 (reinforcement learning with visually attributable on-policy self-distillation) と称され、視覚的証拠に基づいた特権トークンレベルの修正でタスクレベルのRLVR (Multimodal reinforcement learning with verifiable rewards) 教師を補強する。
既存のオンポリシー自己蒸留 (OPSD: On-policy self-distillation) は、信頼できる報酬を持つマルチモーダル強化学習 (RLVR) が提供する信頼性の高いタスクレベルの教師信号を補完するが、その修正には言語的先行知識や応答スタイル、特権視点による非視覚的シフトが混入し、意図しないトークンレベルの更新を強化する問題があった。これを研究者らはprivileged-correction contaminationと定義している。
提案されたパラダイムはVisual-Attribution Gating (VAG)として具体化されており、検証者から派生した利点を最適化のアンカーとして利用する。VAGは、視覚的証拠が存在する場合と証拠が劣化した教師ビューとのコントラストに基づいて各特権修正を検証する。視覚的コントラストによって方向付けられた修正のみを許容することで、VAGは視覚的に根拠のあるガイダンスを維持しつつ、矛盾する残差を抑制する。6つの視覚推論ベンチマークでの実験により、VAGは既存のGRPOおよびOPSDメソッドを一貫して上回り、平均性能で新しい最先端を確立した。
参考: arXiv cs.CV — 2026年10月20日 02:59 (JST)
原文ハイライト"VAG consistently outperforms GRPO and OPSD methods, establishing new state-of-the-art average performance."