Hugging Face Blogは2026年10月21日(現地時間)、Small Language Models (SLM) の語彙を特化させる新手法「VocabX (VocabX)」に関する研究結果を報じた。この手法により、既存のベースモデルを変更せずに推論コストを最大で77%削減できる可能性がある。同記事は、汎用モデルの語彙が特定のドメインに特化したモデルの運用において非効率である点を指摘している。
汎用のオープンソースモデル、例えばQwenやGemmaなどをファインチューニングして特定のドメインやタスクに特化させたモデルは、多くのドメインと汎用アプリケーション向けに構築された語彙を継承する。しかし、Hugging Face Blogが事例として挙げた自動エッセイ採点システムにおいては、モデルが頻繁に記述するテキストが多数のトークンに分割され、これが推論コストの増大に繋がっていた。
推論にはプリフィルとデコードの2フェーズがあり、特にデコードフェーズでは、GPUメモリからのデータ転送がボトルネックとなる。モデルが生成するトークンごとに、最終層が約151,669のエントリーを含む語彙全体を評価する必要があるため、使用されない語彙の存在も無駄なコストを生む。同ブログで測定されたケースでは、生成されたトークン1つあたりのコストは、読み取られたトークンの7.4倍に達する。
既存の語彙適応手法、例えばfast vocabulary transfer (FVT) やmulti-word tokenization (MWT)、Liquid AIのin-place tokenizer expansion (in-place BPE) は、トークンの選択基準が「頻度」であり、「コスト」ではないという限界があった。また、これらの手法はサブワードレベルかフレーズレベルのいずれか一方にしか対応していなかった。VocabXは、各トークンが節約するコストと時間を基準に語彙を再構築し、サブワードとマクロの両レベルで最適化を行う。これにより、採点システムでの出力層の語彙サイズは約152,000行から約65,000行に削減された。
参考: Hugging Face Blog (アーカイブ) — 2026年10月22日 02:35 (JST)
原文ハイライト"cut measured inference cost by 77% without changing the base model"