Tag
16 件の関連記事
論文リポジトリのarXiv cs.CLは9月3日(現地時間)、「MedProb: Probing Internal Representations of Vision-Language Models for Medical Question Answering」と題する研究論文を公開した。Erfan Nourbakhsh、Ke Yang、Anthony Riosの各氏が執筆した本研究は、医用画像質疑応答（Med-VQA）における従来の前提に再考を促すもの。MedProbは軽量なプロービングフレームワークとして、凍結されたVision-Language Model (VLM) の内部表現から、フリーテキスト生成なしに多肢選択式のMed-VQAの回答を予測する。
arXivは2026年9月3日(現地時間)に公開された論文で、Ye-Chan Kim氏らの研究チームが、疎な監視下での高密度動画キャプション生成（Weakly-Supervised Dense Video Captioning）向けに新しいフレームワーク「Seeing Before Synthesizing (SBS)」を提案したと発表した。このSBSは、ビジョン言語モデル（VLM）を活用し、動画内のイベント間ギャップにおける遷移イベントを視覚的に根拠のある形で特定・記述する。従来の課題であった視覚的根拠の欠如や固定的な時間割り当てに対応し、ActivityNet CaptionsとYouCook2のデータセットを用いた実験で、最先端の性能を達成した。
arXiv cs.CVは2026年9月2日(現地時間)、視覚言語モデル (VLM) の公平性と妥当性を評価する新たなベンチマークおよび評価フレームワーク「FAIRLENS」に関する研究論文を公開した。この研究は、採用、法律、医療といった3つの高リスクドメインにおけるVLMの応答を検証し、モデルが顔画像から不当な推論を行う傾向にあることを指摘している。
arXiv cs.CV が2026年9月2日(現地時間)付けで報じたところによると、視覚障がい者向け映画のオーディオ記述 (AD) 生成に関する新たな研究論文が発表された。本論文では、映画の視覚イベントに対して「何を」「いつ」記述するかを同時に予測する2段階のパイプライン「Cue2Narrate (キューツーナレート)」を提案している。従来のAD生成における課題解決を目指し、同手法は新たなベンチマーク上で既存のベースラインを上回る性能を示した。
ジュンジエ・リウ (Junjie Liu) 氏らは2026年8月27日(現地時間)、Vision-Language Models (VLM) の推論コスト削減と高速化を目指す新しいフレームワーク「PACE (Pixel-Adaptive Condense and Extract)」に関する研究論文をarXivで公開した。この訓練不要の推論フレームワークは、視覚エンコーダと大規模言語モデル (LLM) の両方を統一された「Condense-and-Extract」パラダイムを通じて加速させるとしている。
科学論文リポジトリのarXiv cs.ROは2026年8月26日(現地時間)付けで、視覚言語モデル (VLM) を用いてロボットが自然言語で推論し、低レベル操作ポリシーをガイドする新たな訓練手法「$R^3$ (アールスリー)」に関する研究論文を発表した。この手法は、オフザシェルフのVLMをロボット推論器に転換させ、長期間にわたる複雑なタスクにおけるロボットの汎化性能と探索能力を向上させるとしている。
自動運転技術を手掛けるWaymoは2026年8月25日(現地時間)、2億マイルを超える実走行経験から得られた10のAI開発に関する教訓を発表した。この経験に基づき、Waymo Driverの安全性データが、同社がサービスを提供する都市の道路をより安全にしていることを示した。特にマルチモーダルセンサーの不可欠性や高精度（HD）マップの重要性を強調している。
Microsoft Research は2026年8月12日(現地時間)、視覚言語モデル (VLM) のトポロジー的推論能力を評価する新しいベンチマーク「MindTopo」を発表した。このベンチマークは、AIが連結性、包含性、順序、分離性、結び目といった概念を理解し、一連の動作を通じてそれらを維持・操作できるかを測定する。
Microsoftは2026年8月11日(現地時間)、放射線科における人工知能 (AI) の応用を目指し、胸部X線用ビジョン言語モデル (VLM) の研究モデル「CARE-X」を発表した。このモデルは、生成能力と構造化予測を統合し、自由形式の推論と確定的な診断出力を両立させる。放射線科医が必要とするタスクの多様性、柔軟性、臨床的忠実性を追求し、現在のモデルが抱える診断信頼度の欠如や測定依存の所見への対応不足といった課題の解決を目指す。
Appleは7月7日(現地時間)、ビジョン言語モデル (VLM) 向けの推論フレームワーク「LensVLM」を発表した。本フレームワークは、レンダリングされたテキストの視覚表現を圧縮しながらも、関連するコンテキストを選択的に拡張することで、テキスト認識の精度を維持する。これにより、高い圧縮率を維持しつつ、VLMの効率的な運用を可能にする新たなアプローチが提示された。
arXiv cs.CVは6月15日(現地時間)、論文を発表し、現在のビジョン言語モデル（VLM）の多言語評価が、言語と正書法の一対一マッピングを前提とし、複数スクリプト言語の利用者を考慮していない実態を指摘しました。この課題に対し、研究者らはパンジャビ語（Punjabi）の3つのスクリプトに対応する「PuMVR（パンジャビ・マルチモーダル・ビジュアル・リーズニング）」ベンチマークを導入。既存VLMの性能に最大16%の「スクリプト・ギャップ」が存在することを明らかにしました。
arXiv cs.CVは2026年6月8日(現地時間)、Vision-language model (VLM) エージェントの性能評価を目的とした新たなリアルタイムベンチマーク「OmniGameArena (オムニゲームアリーナ)」および評価プロトコル「Improvement Dynamics Curve (IDC)」を発表した。Unreal Engine 5 (UE5) で開発された12種類のゲームで構成されるこのベンチマークは、従来の評価が抱えていた複数の課題に対処するとされる。
arXiv cs.CVが2026年5月29日(現地時間)付けで報じたところによると、Vision-Language Models (VLM) は、性別が曖昧な入力に対して女性の表現を抑制する傾向があることが、Arnau Marin-Llobet氏らの新たな研究で示された。この研究では、全身装備の作業員や後ろ姿の人物といった曖昧な入力画像に対し、VLMが特定の職業と性別のデフォルト設定を露呈し、強く女性的な職業であっても男性を出力する事例が確認された。
Anna Deichler氏らの研究チームは5月20日(現地時間)、動的な3D対話環境における文脈認識グラウンディングのための新たなマルチモーダルデータセットとベンチマーク「MM-Conv」を発表した。この新基盤は、自発的な複数ターンの対話において視覚言語モデル (VLM) が直面する、曖昧な表現の解決という中心的な課題に対応することを目指す。MM-Convは、高精度な参照コミュニケーション能力の評価を通じて、次世代のVLM開発に大きく貢献することが期待されている。
arXiv cs.CLは2026年5月19日(現地時間)、論文「From Seeing to Thinking: Decoupling Perception and Reasoning Improves Post-Training of Vision-Language Models」を公開し、Vision-language models (VLM) の性能が、推論能力自体よりも視覚的知覚の不足によって主に制限されることを明らかにした。研究者らは、VLMの学習後段階における知覚と推論の相互作用を体系的に調査。視覚的知覚、視覚的推論、テキスト推論の3つの独立した訓練段階に能力を分解するアプローチを提案し、この段階的訓練が統合的な訓練と比較して、視覚的知覚と推論の両方において性能を一貫して向上させることを実証した。
arXiv cs.CLは5月11日(現地時間)、Shuangrui Ding氏らが、大規模言語モデル (LLM) およびビジョン言語モデル (VLM) を活用するエージェントの実環境での長期的な性能を評価するための新たなベンチマーク「WildClawBench」を発表した。このベンチマークは、実際のCLI環境下で実ツールにアクセスし、タスクを遂行するエージェントの能力を測定する。人間が作成した60のバイリンガルかつマルチモーダルなタスクで構成され、各タスクは平均8分の実行時間と20以上のツール呼び出しを含む。