マルチモーダルLLMの視覚推論向上へ、新訓練源WOVEN登場
arXivは10月8日(現地時間)、論文を発表し、それによると、Zheyu Fan氏ら研究チームは、マルチモーダル大規模言語モデル（MLLM）が抱える空間的、身体的、物理的、時間的推論の課題に対応するため、新たな訓練データセットとベンチマーク「WOVEN」を導入した。WOVENは、これらの課題の根源に視覚的遷移推論の不足があるとの仮説に基づき開発された。
Tag
#MLLM
13 件の関連記事
MLLM向け3Dシーン想像モデル「Imagine3D-LLM」を発表
Jaewoo Jung氏らが率いる研究チームは2026年9月29日(現地時間)、マルチモーダル大規模言語モデル (MLLM) が回答前に3Dシーンを「想像」する新たな手法「Imagine3D-LLM」を発表した。このモデルは、人間の空間推論に着想を得て、複数の視点からの画像を統合し、コンパクトな3D表現を構築することで、従来のMLLMが抱えていた3D世界の理解における課題克服を目指す。
arXiv、LLMを用いたダークネットCAPTCHA突破法を報告
arXiv cs.CRは2026年8月27日(現地時間)、Benjamin Fehrensen氏およびJens Hubler氏による、ダークネット環境で使用されるCAPTCHAの自動突破に関する研究成果を公開した。この研究では、JavaScriptに依存しない特殊なCAPTCHAに対し、Multimodal Large Language Models (MLLM)と古典的なコンピュータービジョン技術を組み合わせたハイブリッドフレームワークを適用。空間的位置特定や幾何学的変換におけるMLLMの課題を補完し、90%を超える成功率を達成したと報告している。
PonderPounce、MLLMの因果コンテキストをロボット記憶に再利用する手法を提案
Suhwan Choi氏らは2026年8月30日(現地時間)、ロボット制御のためのエピソードコンテキストエンジンとして事前学習済みマルチモーダル大規模言語モデル（MLLM）を再利用する手法「PonderPounce」を発表した。本手法は、専用の記憶モジュールなしで、MLLMのネイティブな因果コンテキストをロボットの記憶として活用する。
アラビア語写本向け注釈パイプライン「RefLAM」 75倍高速化を実現
モハメド・ゲシャウイ氏らの研究チームは8月26日(現地時間)、歴史的なアラビア語写本向けに行レベルの注釈を自動化する新しいパイプライン「RefLAM (Reference-grounded Line Annotation for Manuscripts)」を発表した。このシステムは、手作業による注釈付けと比較して最大75倍のスループット向上を実現し、手書き文字認識 (HTR) のトレーニングデータ作成を効率化する。
Holtercare-Bench発表：MLLM向け長期ECG分析ベンチマーク
arXiv cs.LGは2026年8月18日(現地時間)、マルチモーダル大規模言語モデル（MLLMs）による長期動的ECG（心電図）分析能力を評価する新たなベンチマーク「Holtercare-Bench」に関する論文を発表した。このベンチマークは、22,980組の質疑応答ペアを含むデータセット「Holtercare-23K」に基づき、時系列の局所化、臨床診断、全体的な要約といった複数の側面からMLLMsの性能を検証するものと見られる。研究者らは、既存のMLLMが動的ECGの複雑な時系列推論において課題を抱えている可能性を指摘している。
Apple、長尺動画要約向けの新ベンチマーク「LVSum」発表
Appleは2026年7月20日(現地時間)、タイムスタンプを考慮した長尺動画要約の評価用ベンチマーク「LVSum」を発表した。マルチモーダル大規模言語モデル（MLLM）における長尺動画要約の課題に対処するために開発されたもので、13の多様なドメインにわたる72本の動画と、各動画に最大10個の人間が生成した要約で構成される。本ベンチマークは、現在のMLLMが持つ時間的整合性やクロスモーダル一貫性における体系的な弱点を明らかにし、今後のモデル開発の方向性を示唆するものと見られる。
arxiv.org、動画MLLM「VideoChat3」公開 既存モデル上回る
arxiv.orgは2026年7月16日(現地時間)、Xinhao Liら27名の研究チームが、完全オープンな動画マルチモーダル大規模言語モデル（MLLM）「VideoChat3」を発表したことを報じた。この4Bパラメータモデルは、一般、長尺、ストリーミングの各動画理解ベンチマークにおいて、同等以上のパラメータを持つ既存のオープンソースモデルを凌駕する性能を示した。トレーニングコード、戦略、データセットを含む主要コンポーネントが全て公開されている。
視覚言語モデルの10年進化、精度向上と残存エラー
arXiv cs.CVは7月10日(現地時間)、Shravan Murlidaran氏とMiguel P. Eckstein氏の研究チームが、過去10年間の視覚言語モデル (VLM) の精度向上と視覚認知エラーの進化に関する研究結果を発表した。同研究は、従来のデータセットに加え、新たにComplex Social Behavior (CSB) データセットを導入。その結果、Multimodal Large Language Models (MLLM) が前世代モデルと比較して人間の描写と同程度の精度を達成しつつも、特定の空間依存性エラーが残存していることが示された。VLM評価・採用者は、この残存エラータイプを考慮した性能検証が重要となると見られる。
PEEU、小規模MLLMでGUIエージェント計画能力を向上
arXiv cs.CLは6月25日(現地時間)、GUIエージェントのタスク計画能力を強化する新手法「プランニング・エクスペリエンス・エクスプロレーション・アンド・ユーティリゼーション (PEEU)」に関する論文を公開した。本手法は、自律的な環境探索と後方経験の活用を通じ、小規模マルチモーダル大規模言語モデル (MLLM) の計画能力とウェブサイト横断的汎化の限界に対処する。実験では、PEEUを適用した7Bモデルが30.6%の精度を達成し、大規模なQwen2.5-VL-32Bモデルを上回る性能を示した。
医療用MLLM推論の段階的幻覚診断ベンチマーク「ClinHallu」発表
Sicheng Yangらは2026年6月12日(現地時間)、医療用マルチモーダル大規模言語モデル (MLLM) の推論過程における幻覚を段階的に診断する新たなベンチマーク「ClinHallu」を発表した。既存の医療分野における幻覚ベンチマークがデータ収集に主眼を置いていたのに対し、ClinHalluは幻覚の発生源を「Visual Recognition (視覚認識)」「Knowledge Recall (知識想起)」「Reasoning Integration (推論統合)」の3段階に分解し、詳細な原因特定を可能にする。
マルチモーダルLLMにおける知覚判断バイアス軽減手法を提案
Seojeong Park氏らの研究チームは2026年6月1日(現地時間)、マルチモーダル大規模言語モデル（MLLM）が評価者として機能する際に生じる「知覚判断バイアス (Perceptual Judgment Bias)」の軽減に関する研究論文を発表した。このバイアスは、視覚的証拠とテキスト情報が矛盾する状況で、MLLMが知覚的に正しい答えよりも、より一貫性のある物語を優先してしまう傾向として特定されており、評価の一貫性を著しく損なうと指摘されている。本研究はarXiv cs.CVで報じられ、ICML 2026での発表が予定されている。
VegAS、検証器活用でエンボディドAIのロバスト性向上
VegASは2026年5月12日(現地時間)、arXiv cs.AIにて論文として公開された。汎用エンボディドエージェントのロバスト性向上を目的としたフレームワークで、MLLMベースエージェントが困難なシナリオで示す脆弱性を克服するため、明示的な検証ステップを導入する。推論時に複数の候補行動を評価し、最も信頼性の高い選択肢を選び出すことで、既存の強力な連鎖思考（CoT）ベースラインに対し最大36%の性能向上を達成。LLM駆動のデータ合成戦略で検証器を訓練する点が、従来の推論時計算手法との差別化となる。