arXiv cs.CVが2026年11月17日(現地時間)付けで報じたところによると、ルイ・ニン (Rui Ning)氏らの研究チームは、ハイブリッドVision-Language Models (VLMs)向けに低遅延ストリーミング推論を実現するフレームワーク「Spool」を発表した。視覚支援エージェントやロボット工学などで求められる、最近のビデオコンテンツへの迅速な応答における課題を解決する。既存モデルで高コストだったスライディングウィンドウ維持を効率化し、time-to-first-tokenのp95値を幾何平均で6.6倍削減、精度を平均2.3パーセンテージポイント向上させた。
Spoolは、トレーニング不要でハイブリッドVLMのストリーミング推論を低遅延化するフレームワークとして提示されている。視覚支援エージェントやロボット工学などのアプリケーションは、過去のフレーム(例:過去2分間)の限定されたウィンドウ内の最新ビデオコンテンツに関する質問に迅速に答えることが求められる。
従来のハイブリッドVLMは、Gated DeltaNet (GDN)のような線形回帰層をアテンションと交互に配置しており、この設定に適しているものの、スライディングウィンドウの維持にコストがかかるという課題があった。回帰層が過去のすべてのフレームを共有状態に結合するため、古いフレームを期限切れにするには通常、ウィンドウ全体をモデルで再実行する必要があった。
研究チームは、回帰更新が入力に依存する係数を持つアフィン変換であり、各フレームの効果が結合的に構成される変換として捉えられることを発見した。Spoolはこの知見に基づき、フレームごとの状態変換をキャッシュし、ウィンドウの進行に合わせて効率的に構成する。これにより、バックボーンを介してフレームを再生することなく、各回帰層の状態から期限切れのフレームを削除することが可能となる。削除は各層内で正確に行われる。アテンションにおけるキー・バリューの削除と同様に、期限切れのフレームは以前の層によって計算されたキャッシュ入力を通じて残りの影響を保持できる。
Spoolは、低いキャッシュおよび構成オーバーヘッドを実現するため、専用のデータ構造とGPUカーネルを設計した。5つのオープンソースのハイブリッドVLMと4つのビデオ推論ベンチマークを用いた評価では、全20のモデル・ベンチマークテストにおいてtime-to-first-tokenのp95値で最低値を達成した。これは、2つの最近のvLLMベースラインのより高速な方と比較して幾何平均で6.6倍の削減に相当し、同時に精度を平均2.3パーセンテージポイント向上させた。
参考: arXiv cs.CV — 2026年11月18日 03:59 (JST)
原文ハイライト"Spool achieves the lowest p95 time-to-first-token in all 20 model-benchmark tests"