Appleは7月7日(現地時間)、ビジョン言語モデル (VLM) 向けの推論フレームワーク「LensVLM」を発表した。本フレームワークは、レンダリングされたテキストの視覚表現を圧縮しながらも、関連するコンテキストを選択的に拡張することで、テキスト認識の精度を維持する。これにより、高い圧縮率を維持しつつ、VLMの効率的な運用を可能にする新たなアプローチが提示された。
Appleが発表した「LensVLM」は、ビジョン言語モデル (VLM) が圧縮画像をスキャンし、学習済みのツールを介して関連画像を非圧縮形式に選択的に拡大することを可能にする。この機能により、VLMはテキストを長大なトークンシーケンスにトークン化するプロセスを回避し、レンダリング解像度の変更による微細な圧縮調整時に発生する精度低下の問題に対処する。
「Qwen3.5-9B-Base」を基盤とするLensVLMは、4.3倍の実効圧縮率でフルテキストの上限に匹敵する精度を維持した。また、7つのテキストQAベンチマークにおいて、検索ベースのテキストおよび視覚圧縮ベースラインを最大10.1倍の実効圧縮率で上回る性能を示した。このアプローチはマルチモーダル文書やコード理解タスクにも一般化し、圧縮率が高まるにつれてベースラインに対する精度向上が増加することが確認されている。
分析により、トレーニングが視覚圧縮をレンダリング選択に対して堅牢にし、圧縮率が高まるにつれてモデルが信頼性の低い視覚的読み取りよりも拡張されたコンテンツに依存することが検証された。実用的なツール選択指針としては、レンダリングされたテキストにはテキスト拡張が、レイアウト情報を持つネイティブ文書には高解像度画像拡張がそれぞれ推奨されている。本研究の著者には、Duke UniversityのRoy Xie氏とBhuwan Dhingra氏らが名を連ねる。
LensVLMは、マルチモーダルAIにおける文書処理のコスト削減と効率化に大きく貢献し得る。特に、画像やPDFなどの視覚情報を多く含む文書を扱う際に、VLMが必要とする計算資源を削減し、大規模なデータセットを用いた学習や、リアルタイムでの推論をより現実的なものとする。
参考: Apple ML Research — 2026年7月7日 09:00 (JST)
原文ハイライト"Selective Context Expansion for Compressed Visual Representation of Text"