arXiv cs.CVが2026年8月20日(現地時間)、視覚言語モデル (VLM) の処理を高速化し、堅牢性を高める新しいアルゴリズム「ClustRS」を発表した。このトレーニング不要な手法は、多数の視覚トークン処理に伴う計算負荷を軽減し、エッジデバイスへのVLM展開の課題解決を目指す。既存のVLMであるLLaVAにおいて、画像ノイズに対する堅牢性を向上させつつ、トークン数を大幅に削減できるとしている。
発表されたClustRSは、堅牢なトークン枝刈り（トークンを削減する技術）を実現するための二段階のトレーニング不要アルゴリズムである。第一段階は、アテンション重み付けクラスターリングアルゴリズムで、各意味的クラスターから代表的なトークンを選出する。第二段階はResidual Shrinkage (レジデュアル・シュリンケージ)と呼ばれるワンパスのノイズ除去ステップであり、選出されたトークンに適用される。
これらのトレーニング不要で軽量なステップにより、LLaVA (ラバ) などのVLMは実世界のデータに対応可能となり、幅広い種類の画像ノイズやノイズ強度に対する堅牢性が向上すると説明されている。実験結果は、ScienceQA-IMGとMM-VETのベンチマークで示された。
具体的には、LLaVA 1.5 7bにおいて、極端なノイズおよびトークン条件下（トークンを97%削減し16トークンまで）で、アテンションベースおよび多様性ベースの手法を最大20%上回る性能を示した。また、LLaVA-OneVisionでは、軽度ノイズ条件下で、ベースライン性能をトークン数1/3以下で達成している。この研究は、スコアのみ、または多様性のみに基づく枝刈りルールに代わる、シンプルかつ強力な代替手段となり、コンピューティング効率が高く、ノイズ耐性のあるVLM展開への道を開くと見られている。
参考: arXiv cs.CV (アーカイブ) — 2026年8月21日 13:00 (JST)
原文ハイライト"We introduce ClustRS, a two-part, training-free algorithm for robust token pruning."