ヤオ・シャオ（Yao Xiao）氏らが率いる研究チームは2026年7月30日(現地時間)、視覚言語モデルの視覚検索能力を改善する新たな手法「リトークン（ReToken）」に関する論文をarXivに発表した。ReTokenは、長期的な視覚コンテキストにおける計算負荷と性能低下の課題に対応するため、単一の学習可能な埋め込みとして設計されている。小規模な画像-QAデータセットのみで訓練され、画像および動画ベンチマークで一貫した性能向上を実現した。
ReTokenは、事前に入力された視覚KVキャッシュから、クエリに関連する疎な視覚トークンのセットを選択する明示的な検索ターゲットとして訓練される。このアプローチにより、モデルは多数の不要な情報（distractors）が存在する場合でも性能が低下することを防ぎ、またGPUメモリの制約下で全てのトークンを一度に処理する計算上の非効率性を克服する。
具体的には、Visual Haystacksベンチマークにおいて、ReTokenはQwen3VL-8Bモデルの性能を13.4ポイント、InternVL3.5モデルの性能を12.4ポイント（相対的に20%以上）向上させた。さらに、LVBenchではQwen3VL-8Bモデルに対し、ゼロショットで長期動画処理において8.0ポイントの性能向上を示している。その軽量な設計により、訓練と長期動画の推論の両方が単一のH100 GPU上で実行可能である。
参考: arXiv cs.CV — 2026年7月31日 02:59 (JST)
原文ハイライト"ReToken, a single learnable embedding trained as an explicit retrieval target"
この記事をシェア