Tag
24 件の関連記事
シューブ・ガーグ氏とチェン・シャニ氏は2026年10月9日(現地時間)、ビジョン言語モデル (VLM) の内部表現が空間関係を忠実に符号化する能力に課題があることを示す研究結果を発表した。研究チームは、概念の一貫した符号化を評価する新指標EICSと、因果的に制御された空間摂動ベンチマークCASP-VLを導入。複数のVLMアーキテクチャを分析した結果、構成的ベンチマークで高得点を出すVLMでも、空間関係の表現は語彙情報より著しく忠実性に劣るという。この研究は、既存の評価方法では捉えきれないVLMの体系的な欠陥を指摘している。
学術論文リポジトリのarXiv cs.CVは2026年10月8日(現地時間)、高ダイナミックな実世界ストリームにおける動画大規模言語モデル（VLM）の知覚能力を評価する新たなベンチマーク「FastBench」に関する論文を公開した。既存のVLM向けベンチマークが低ダイナミックなシナリオに限定される中、FastBenchは高フレームレート（FPS）クリップからの質疑応答（QA）生成、SAM3とCoTracker3による回答検証、人間の検査を組み合わせたパイプラインを採用し、モデルのより現実的な性能評価を目指す。
arXiv cs.CVは10月8日(現地時間)、Hongxing Li氏らの研究チームが、VLM（Visual Language Model）エージェントの性能向上を目指す新たな視覚ネイティブなスキル学習フレームワーク「ViSkill」を提案する論文を公開した。このフレームワークは、従来のテキスト中心のアプローチが抱えていた幾何学的構造情報の損失という課題を克服。成功した相互作用を直接視覚スキルカードとしてエンコードすることで、スキル蓄積とポリシー改善の相互強化を実現する。
Nenad Banfic氏らの研究チームは9月18日(現地時間)、低ビットのキーバリュー（KV）キャッシュ量子化におけるビジョン言語モデル（VLM）の精度低下を抑制する新手法「HeadGuard（ヘッドガード）」を発表した。同手法は、既存のKVキャッシュ量子化器に選択的な高精度マスクを組み合わせることで、ストレージ削減と高精度維持の両立を目指す。これにより、AIモデルの効率性と性能向上に貢献する。
arXiv cs.CVは2026年9月22日(現地時間)、自然言語の指示からScalable Vector Graphics (SVG) コードを生成する際の評価とポリシー最適化における課題に対処する新しい手法「ルーラー (RULER)」に関する論文を発表した。RULERは、多軸ルーブリックに基づく評価と強化学習 (RL) の報酬システムを導入し、既存のスカラー指標が抱える「報酬ハッキング」の問題解決を図る。
ニティシュ・ダショラ (Nitish Dashora) 氏らは2026年9月17日(現地時間)、複雑なロボット操作タスクにおける長期記憶の問題を解決するため、軽量な潜在記憶表現「ワークスペーストークン (workspace token)」を提案する研究論文をarXivで発表した。このアプローチは、計算負荷の高いVLMクエリを学習時に活用し、デプロイ時には効率的にクエリ可能な軽量メモリとして機能させることで、従来の課題を克服する。
arXiv cs.CVは9月1日(現地時間)、「Don't Just Look, Intervene: Perturbation Based Region Labeling for VQA Images」と題する研究論文を公開した。同論文は、視覚言語モデル (Vision Language Models; VLM) が回答を導き出す際に依存する視覚的証拠を特定するための、反実仮想的根拠付け領域探索 (Counterfactual Search for Grounding Regions; CSGR) と呼ばれる新しい手法を提案している。CSGRは、モデルの回答分布に因果的に影響を与える画像領域を特定し、VLMの視覚的推論を根拠付ける有用な教師信号を生成することを目的としている。
学術論文投稿サイトarXivは8月31日(現地時間)、ビジョン言語モデル（VLM）の低レベル操作における性能ボトルネックに関する研究論文を公開した。Sarthak Sattigeri氏らによるこの論文は、VLMがオブジェクトのどの部分に作用すべきかを特定する「パーツの特定（part grounding）」能力に課題があることを指摘。実験では、ターゲットパーツを明示的に指定することで、モデルのアクション精度が大幅に向上することが示された。
論文リポジトリのarXiv cs.CLは9月3日(現地時間)、「MedProb: Probing Internal Representations of Vision-Language Models for Medical Question Answering」と題する研究論文を公開した。Erfan Nourbakhsh、Ke Yang、Anthony Riosの各氏が執筆した本研究は、医用画像質疑応答（Med-VQA）における従来の前提に再考を促すもの。MedProbは軽量なプロービングフレームワークとして、凍結されたVision-Language Model (VLM) の内部表現から、フリーテキスト生成なしに多肢選択式のMed-VQAの回答を予測する。
arXivは2026年9月3日(現地時間)に公開された論文で、Ye-Chan Kim氏らの研究チームが、疎な監視下での高密度動画キャプション生成（Weakly-Supervised Dense Video Captioning）向けに新しいフレームワーク「Seeing Before Synthesizing (SBS)」を提案したと発表した。このSBSは、ビジョン言語モデル（VLM）を活用し、動画内のイベント間ギャップにおける遷移イベントを視覚的に根拠のある形で特定・記述する。従来の課題であった視覚的根拠の欠如や固定的な時間割り当てに対応し、ActivityNet CaptionsとYouCook2のデータセットを用いた実験で、最先端の性能を達成した。
arXiv cs.CVは2026年9月2日(現地時間)、視覚言語モデル (VLM) の公平性と妥当性を評価する新たなベンチマークおよび評価フレームワーク「FAIRLENS」に関する研究論文を公開した。この研究は、採用、法律、医療といった3つの高リスクドメインにおけるVLMの応答を検証し、モデルが顔画像から不当な推論を行う傾向にあることを指摘している。
arXiv cs.CV が2026年9月2日(現地時間)付けで報じたところによると、視覚障がい者向け映画のオーディオ記述 (AD) 生成に関する新たな研究論文が発表された。本論文では、映画の視覚イベントに対して「何を」「いつ」記述するかを同時に予測する2段階のパイプライン「Cue2Narrate (キューツーナレート)」を提案している。従来のAD生成における課題解決を目指し、同手法は新たなベンチマーク上で既存のベースラインを上回る性能を示した。
ジュンジエ・リウ (Junjie Liu) 氏らは2026年8月27日(現地時間)、Vision-Language Models (VLM) の推論コスト削減と高速化を目指す新しいフレームワーク「PACE (Pixel-Adaptive Condense and Extract)」に関する研究論文をarXivで公開した。この訓練不要の推論フレームワークは、視覚エンコーダと大規模言語モデル (LLM) の両方を統一された「Condense-and-Extract」パラダイムを通じて加速させるとしている。
科学論文リポジトリのarXiv cs.ROは2026年8月26日(現地時間)付けで、視覚言語モデル (VLM) を用いてロボットが自然言語で推論し、低レベル操作ポリシーをガイドする新たな訓練手法「$R^3$ (アールスリー)」に関する研究論文を発表した。この手法は、オフザシェルフのVLMをロボット推論器に転換させ、長期間にわたる複雑なタスクにおけるロボットの汎化性能と探索能力を向上させるとしている。
自動運転技術を手掛けるWaymoは2026年8月25日(現地時間)、2億マイルを超える実走行経験から得られた10のAI開発に関する教訓を発表した。この経験に基づき、Waymo Driverの安全性データが、同社がサービスを提供する都市の道路をより安全にしていることを示した。特にマルチモーダルセンサーの不可欠性や高精度（HD）マップの重要性を強調している。
Microsoft Research は2026年8月12日(現地時間)、視覚言語モデル (VLM) のトポロジー的推論能力を評価する新しいベンチマーク「MindTopo」を発表した。このベンチマークは、AIが連結性、包含性、順序、分離性、結び目といった概念を理解し、一連の動作を通じてそれらを維持・操作できるかを測定する。
Microsoftは2026年8月11日(現地時間)、放射線科における人工知能 (AI) の応用を目指し、胸部X線用ビジョン言語モデル (VLM) の研究モデル「CARE-X」を発表した。このモデルは、生成能力と構造化予測を統合し、自由形式の推論と確定的な診断出力を両立させる。放射線科医が必要とするタスクの多様性、柔軟性、臨床的忠実性を追求し、現在のモデルが抱える診断信頼度の欠如や測定依存の所見への対応不足といった課題の解決を目指す。
Appleは7月7日(現地時間)、ビジョン言語モデル (VLM) 向けの推論フレームワーク「LensVLM」を発表した。本フレームワークは、レンダリングされたテキストの視覚表現を圧縮しながらも、関連するコンテキストを選択的に拡張することで、テキスト認識の精度を維持する。これにより、高い圧縮率を維持しつつ、VLMの効率的な運用を可能にする新たなアプローチが提示された。
arXiv cs.CVは6月15日(現地時間)、論文を発表し、現在のビジョン言語モデル（VLM）の多言語評価が、言語と正書法の一対一マッピングを前提とし、複数スクリプト言語の利用者を考慮していない実態を指摘しました。この課題に対し、研究者らはパンジャビ語（Punjabi）の3つのスクリプトに対応する「PuMVR（パンジャビ・マルチモーダル・ビジュアル・リーズニング）」ベンチマークを導入。既存VLMの性能に最大16%の「スクリプト・ギャップ」が存在することを明らかにしました。
arXiv cs.CVは2026年6月8日(現地時間)、Vision-language model (VLM) エージェントの性能評価を目的とした新たなリアルタイムベンチマーク「OmniGameArena (オムニゲームアリーナ)」および評価プロトコル「Improvement Dynamics Curve (IDC)」を発表した。Unreal Engine 5 (UE5) で開発された12種類のゲームで構成されるこのベンチマークは、従来の評価が抱えていた複数の課題に対処するとされる。
arXiv cs.CVが2026年5月29日(現地時間)付けで報じたところによると、Vision-Language Models (VLM) は、性別が曖昧な入力に対して女性の表現を抑制する傾向があることが、Arnau Marin-Llobet氏らの新たな研究で示された。この研究では、全身装備の作業員や後ろ姿の人物といった曖昧な入力画像に対し、VLMが特定の職業と性別のデフォルト設定を露呈し、強く女性的な職業であっても男性を出力する事例が確認された。
Anna Deichler氏らの研究チームは5月20日(現地時間)、動的な3D対話環境における文脈認識グラウンディングのための新たなマルチモーダルデータセットとベンチマーク「MM-Conv」を発表した。この新基盤は、自発的な複数ターンの対話において視覚言語モデル (VLM) が直面する、曖昧な表現の解決という中心的な課題に対応することを目指す。MM-Convは、高精度な参照コミュニケーション能力の評価を通じて、次世代のVLM開発に大きく貢献することが期待されている。
arXiv cs.CLは2026年5月19日(現地時間)、論文「From Seeing to Thinking: Decoupling Perception and Reasoning Improves Post-Training of Vision-Language Models」を公開し、Vision-language models (VLM) の性能が、推論能力自体よりも視覚的知覚の不足によって主に制限されることを明らかにした。研究者らは、VLMの学習後段階における知覚と推論の相互作用を体系的に調査。視覚的知覚、視覚的推論、テキスト推論の3つの独立した訓練段階に能力を分解するアプローチを提案し、この段階的訓練が統合的な訓練と比較して、視覚的知覚と推論の両方において性能を一貫して向上させることを実証した。
arXiv cs.CLは5月11日(現地時間)、Shuangrui Ding氏らが、大規模言語モデル (LLM) およびビジョン言語モデル (VLM) を活用するエージェントの実環境での長期的な性能を評価するための新たなベンチマーク「WildClawBench」を発表した。このベンチマークは、実際のCLI環境下で実ツールにアクセスし、タスクを遂行するエージェントの能力を測定する。人間が作成した60のバイリンガルかつマルチモーダルなタスクで構成され、各タスクは平均8分の実行時間と20以上のツール呼び出しを含む。