4DGSの参照セグメンテーション「R4DGS」発表
arXiv cs.CVは2026年10月22日(現地時間)、動的な4Dシーンで複雑な自然言語参照をグラウンディングする新タスク「Referring 4D Gaussian Splatting (R4DGS)」に関する研究論文を発表した。研究では、構造化クエリ注釈付きベンチマーク「R4D-Bench-QA」と、トレーニング不要の参照推論を可能にする統合フレームワーク「ReferGaussian」を導入し、その有効性を示している。
Tag
#MLLMs
17 件の関連記事
OpenVLHarness発表、マルチモーダルLLMの推論性能を向上
Yu Zhou (ユー・ジョウ)氏らの研究チームは2026年10月19日(現地時間)、マルチモーダル大規模言語モデル (MLLMs) における視覚的推論能力を向上させる「OpenVLHarness」を発表した。同技術は、能力層と永続的マルチモーダルメモリを中心に構成され、異種ツールからの証拠取得、検査、合成を可能にする。22のベンチマークでの評価では、ツールを使用しないベースラインと比較して平均スコアを9.7〜12.6ポイント向上させた。
arXiv cs.CV、Event-STVG発表 長尺動画イベント推論でMLLMに新課題
arXiv cs.CVは2026年10月15日(現地時間)、自然言語クエリに基づく空間時間動画接地 (Spatio-Temporal Video Grounding: STVG) の新たな課題として「Event-STVG」を提唱する論文を発表した。従来のSTVGベンチマークがインスタンス固有の記述による目標特定に限定されていたのに対し、Event-STVGは長尺コンテキスト、反復イベント推論、イベント特定、役割推論、マルチターゲット接地を統合し、イベントレベルの複雑な推論に焦点を当てる。研究者らは、このタスクのためにサッカーを含む8つのドメインにわたる4,016件の注釈付きイベントで構成される大規模なベンチマークを構築した。
空撮動画理解評価に幾何学的課題、ゲオルギオス氏ら『AVU-Card』提案
ゲオルギオス・アンゲリディス氏ら6名の研究者は2026年10月14日(現地時間)、空撮およびリモートセンシング動画理解の評価方法に関する収束的メタ分析をarXiv cs.CVで発表した。現在の評価手法が、空撮特有の幾何学的課題を適切に測定できていないと指摘し、新しい評価フレームワーク『AVU-Card』の導入を提案している。
Xuyang Liu氏ら、オムニモーダルビデオ理解のベンチマーク「OmniCompass」発表
Xuyang Liu氏らの研究チームは10月13日(現地時間)、オムニモーダルビデオグラウンディングと理解のための包括的ベンチマーク「OmniCompass」を発表した。本ベンチマークは、マルチモーダル大規模言語モデル（MLLM）のビデオ理解能力を評価し、既存ベンチマークでは不足していた評価次元を補完することを目指している。情報源はarXiv cs.CV。
SLVR、MLLMの視覚推論精度を向上させる新フレームワーク
arXivは10月1日(現地時間)、マルチモーダル大規模言語モデル (MLLMs) が視覚推論を行う際に、言語的先行知識に過度に依存する問題に対処する新しいトレーニングフレームワーク「構造化潜在視覚推論 (SLVR)」に関する論文を発表した。SLVRは、明示的な思考連鎖 (CoT) と潜在推論のギャップを埋め、プランニング、グラウンディング、証拠選択、推論統合といった定型化された潜在段階にマルチモーダル推論を組織化する。
MLLM人間行動フィードバックを改善、「BoT-Feedback」フレームワーク発表
arXiv cs.CVは10月3日(現地時間)、多種モダリティ大規模言語モデル (MLLMs) が生成する人間行動フィードバックの質を高めるための新たなフレームワーク「BoT-Feedback」に関する論文を公開した。この研究は、MLLMsの推論を生体力学的証拠に根拠付けることで、既存手法の曖昧さや解釈性の低さ、身体的に不自然な誤認識といった問題を解決し、より具体的で質の高いコーチングフィードバックを提供することを目指す。
基盤モデルの位相幾何学的推論を評価する新ベンチマーク「MindTopo」発表
arXivが2026年9月10日(現地時間)に公開した論文で、基盤モデルの空間推論能力を評価する新たなベンチマーク「MindTopo」を発表した。MindTopoは、距離や形状といった計量特性に加え、連続的な変形に対して不変である位相幾何学的関係に焦点を当てる。認知科学と形式位相幾何学に基づき、連続性、分離、順序、囲い込み、結び目の5つの特性について、推論と計画の2つの認知レベルでモデルの直感を評価する。
MMDiff、マルチモーダルモデル機能特定と制御フレームワークを発表
Hunar Batra氏らは8月10日(現地時間)、マルチモーダル大規模言語モデル (MLLMs) の内部機能の特定、監査、制御を目的としたフレームワーク「MMDiff」を発表した。MMDiffは、マルチモーダルなスパースオートエンコーダ (SAEs) を訓練することで、機能レベルのインターフェースとしてMLLMの振る舞いを検出し、制御することを可能にする。
Apple、マルチモーダルLLMのハルシネーション対策研究を発表 — 独自データ生成で実用化に道
Appleは2026年8月(現地時間)、マルチモーダル大規模言語モデル（MLLM）におけるアラインメントに関する包括的な研究を発表した。大規模言語モデル（LLM）の性能向上に不可欠な選好アラインメントについて、MLLMでの影響はこれまで十分に探求されてこなかった。本研究は、MLLMが画像理解タスクで直面するハルシネーション（誤った情報の生成）などの課題に対し、モデルの応答を画像情報により正確に一致させることを目的とする。特に、追加のアノテーションや外部モデルを必要としない新しいマルチモーダル選好データ作成手法「Bias-Driven Hallucination Sampling (BDHS)」を導入し、エッジデバイスでのMLLM実用化への道を拓く可能性を示唆している。
災害地名曖昧性解消フレームワーク「DisasterTD」発表
arXiv cs.CVは2026年7月25日(現地時間)、Wenping Yin氏らによる研究論文「DisasterTD: Disaster Toponym Disambiguation Using Multimodal LLMs and Cross-View Geolocalization」を発表しました。本研究は、マルチモーダル大規模言語モデル (Multimodal LLMs) と視点間ジオロケーションを統合し、ソーシャルメディア画像 (SMI) における曖昧な地理的参照を解決するフレームワーク「DisasterTD」を提案。災害対応における迅速かつ高精度な状況認識に貢献します。
arXiv、マルチモーダル大規模言語モデルの視覚知覚能力評価ベンチマーク「PerceptionBench」を発表
arXiv cs.CVが2026年7月28日(現地時間)、マルチモーダル大規模言語モデル（MLLM）の原子レベル視覚知覚能力を評価する新しいベンチマーク「パーセプションベンチ (PerceptionBench)」を発表した。既存のベンチマークが推論やドメイン知識の問題と知覚エラーを混同する点を指摘し、純粋な知覚能力の評価を目指す。42の既存ベンチマークからMLLMの初期の失敗点を分析し、知覚に関する10の原子レベル能力を定義した。
Apple ML Research、一人称視点ビデオ理解を革新する「TGPO」を発表
Apple ML Researchは2026年7月(現地時間)、一人称視点（egocentric）ビデオ理解モデルにおける時間的認識を促進する新アルゴリズム「Temporal Global Policy Optimization (TGPO)」を発表した。マルチモーダル大規模言語モデル（MLLMs）が視覚理解で優れた性能を示す一方、時間的推論の不足が課題とされており、TGPOはこの課題に対処する。これはAR/VRデバイスにおける次世代AIアシスタントの基盤技術となる可能性を秘める。
Light-Omni、長期記憶を持つ反射型動画理解フレームワーク発表
チャン・ニエ (Chang Nie) 氏らは2026年7月6日(現地時間)、学術論文公開サイトarXiv cs.CVにて、長期記憶を持つエージェント型動画理解のためのマルチモーダルエージェントフレームワーク「Light-Omni」を発表した。同フレームワークは、従来の反復推論に代わる反射的かつ軽量な動画理解を実現し、デュアル文脈状態を用いて単一フォワードパスで必要な文脈を構築する。
MLLM知識編集の難題「Editing Decoupling Failure」をDECODEが克服
arXiv cs.LGは4月20日(現地時間)、論文を公開し、マルチモーダル大規模言語モデル (MLLM) の知識編集において、既存手法では十分に解決されていない「editing decoupling failure」と呼ばれる問題が存在すると指摘しました。この問題は、多モーダル入力で知識が更新されても、単一モーダル入力では古い情報に逆戻りする現象を指します。論文では、この課題に対処するため、モダリティ固有のニューロン群を分離・特定する新手法「DECODE」を提案しています。
arXiv、ワールドモデルとMLLM連携で将来予測の新手法を発表
論文投稿サイトarXivのコンピュータビジョン部門は6月2日(現地時間)、研究論文を公開し、ワールドモデルとマルチモーダル大規模言語モデル (MLLMs) が静的な視覚情報からの将来予測において相補的な能力を発揮すると発表した。既存のワールドモデルによる視覚的シミュレーションは、見た目のもっともらしさがある一方で、実際のタスクにおいては不正確となる課題があった。研究チームはこの課題を「制御された具体的推論」として定式化。これに対応するため、真の未来情報を訓練時に活用する新手法「Privileged-Future On-Policy Self-Distillation (PF-OPSD)」を提案した。
マルチモーダルLLM継続学習、新フレームワーク「ProtoAda」が性能向上 タスク干渉を克服
arXiv cs.CVは2026年6月1日(現地時間)、Yu-Cheng Shi (ユーチェン・シー) 氏ら研究者グループが、マルチモーダル大規模言語モデル (MLLMs) の継続的な指示チューニング (MCIT) における課題を解決する新たなフレームワーク「ProtoAda」を提案したと報じた。本フレームワークは、既存手法が抱えるタスク間の干渉や非効率な専門家連携の問題に対し、タスクのセマンティクスと出力構造の両方を考慮することで、優れた性能を実現するという。