Yu Zhou (ユー・ジョウ)氏らの研究チームは2026年10月19日(現地時間)、マルチモーダル大規模言語モデル (MLLMs) における視覚的推論能力を向上させる「OpenVLHarness」を発表した。同技術は、能力層と永続的マルチモーダルメモリを中心に構成され、異種ツールからの証拠取得、検査、合成を可能にする。22のベンチマークでの評価では、ツールを使用しないベースラインと比較して平均スコアを9.7〜12.6ポイント向上させた。
マルチモーダル大規模言語モデル (MLLMs) は視覚的推論において急速な進歩を遂げているものの、内部推論だけでは困難な証拠を必要とするタスクが依然として存在する。研究チームが行った22のベンチマークでの制御研究では、基盤モデルの推論予算を単純に増加させても限定的な改善しか得られないことが示された。
これらのタスクには、グラウンデッドな知覚、外部知識、および異種ツールを通じて得られる数値計測が必要となる。OpenVLHarnessは、ツールの出力をモデルが解釈可能な観測結果に変換し、推論ステップ全体で保持する仕組みを提供する。能力層はタスクレベルのツールインターフェースと証拠レンダリングを統合し、様々なバックエンドへ一貫したアクセスを保証する。
永続的マルチモーダルメモリは、対応する画像、構造化データ、ウェブ参照をアドレス指定可能な成果物として各クエリを通じて保持する。さらに、コーディングインターフェースは格納されたデータ上で生成されたプログラムを実行し、複数のツールからの結果を結合する計算を可能にする。これらのメカニズムが連携することで、マルチモーダルな証拠を反復的に取得し、検査し、構成するプロセスを支援する。
OpenVLHarnessは8つのオープンおよびプロプライエタリなバックボーンを用いて22のベンチマークで評価された。結果として、Qwen3-VL-8Bで11.2ポイント、Kimi K3で9.7ポイント、GPT-6 Astraで9.9ポイントの改善を含む、平均9.7〜12.6ポイントのスコア向上が確認された。GPT-6 Lunaを用いた中程度の推論努力では、OpenVLHarnessはベースモデル、Codex、およびVisual Sketchpadの最大努力を7.7〜8.5ポイント上回り、モデルトークンコストは最大37%に抑えられた。
この研究はYu Zhou氏、Cheng-Fu Yang氏、Rui Sun氏、Di Wu氏、Sibo Peng氏、Mingyang Zhang氏、Zhen Yang氏、Ruiyi Zhang氏、Nanyun Peng氏、Zhe Gan氏、Kai-Wei Chang氏らによって行われ、arXiv cs.CLに論文として提出された。
参考: arXiv cs.CL (アーカイブ) — 2026年10月20日 02:59 (JST)
原文ハイライト"OpenVLHarness improves average scores by 9.7-12.6 points over matched no-tool baselines"