ジュンジエ・リウ (Junjie Liu) 氏らは2026年8月27日(現地時間)、Vision-Language Models (VLM) の推論コスト削減と高速化を目指す新しいフレームワーク「PACE (Pixel-Adaptive Condense and Extract)」に関する研究論文をarXivで公開した。この訓練不要の推論フレームワークは、視覚エンコーダと大規模言語モデル (LLM) の両方を統一された「Condense-and-Extract」パラダイムを通じて加速させるとしている。
視覚推論能力に優れるVLMは、視覚トークン数の増大に伴い推論コストが急速に上昇するという課題を抱えている。既存の視覚トークン削減手法には二つの根本的な限界があった。一つは、ほとんどのアプローチが視覚エンコーダの処理後にのみ機能し、視覚符号化フェーズの大きな遅延が最適化されていない点である。もう一つは、厳格なトークン予算の下で、これらの手法が全体的な視覚コンテキストと詳細な情報の両方を保持することができず、性能低下を招くことが多かった。
これらの課題に対処するため、リウ氏、シェンユアン・イエ (Shengyuan Ye) 氏、シュー・チェン (Xu Chen) 氏らは、Condense-and-Extractパラダイムを採用したPACEを提案した。Condense段階では、Adaptive Pixel Compressor (APC) が符号化前に視覚情報密度を評価し、冗長な入力を適応的にダウンサンプリングする。これにより、エンコーダの計算を削減しつつ、グローバルなコンテキストと本質的な視覚的キューを維持する。Extract段階では、Dynamic Dual-Attention Extractor (DDAE) がエンコーダからの内部視覚信号とLLMからのセマンティック信号を融合することで、タスクに不可欠な詳細を保護しながら視覚トークンを選択的に保持する。
研究チームがPACEをQwen2.5-VL-7Bに統合した結果、モデルは元の性能の93.8%を維持し、視覚トークン利用率を10%に削減した。これにより、time to first token (TTFT) が3.1倍高速化された。本研究はEMNLP 2026のFindingsに採択されており、関連コードは公開されている。
参考: arXiv cs.CV (アーカイブ) — 2026年8月27日 23:52 (JST)
原文ハイライト"PACE (Pixel-Adaptive Condense and Extract), a training-free inference framework"