Stephen Chung氏らは2026年10月22日(現地時間)、arXiv cs.CL上で公開した論文「Low-Bit N-Gram Embeddings for Language Models」において、大規模言語モデルが性能向上のために利用するNグラム埋め込みテーブルのメモリ消費量削減に関する研究成果を発表した。研究では、Nグラム埋め込みを低精度で保存し、様々な量子化手法とビット割り当てを体系的に調査した。これにより、テーブルのメモリ要件を大幅に削減しつつ、性能の維持または向上を達成できるとしている。
論文によると、近年のオープンウェイト言語モデルでは、連続するトークンのペアやトリプルといった短いトークンシーケンスの学習済み表現を格納するNグラム埋め込みテーブル（短縮されたトークン列の学習済み表現を格納するデータ構造）が性能向上に用いられている。しかし、これらのテーブルは多大なメモリを必要とし、例えばDeepSeek-V4.1-FlashではそのEngram Nグラムメモリに1960億ものパラメータが割り当てられている。
研究チームは、このメモリコストを削減しつつ、Nグラム埋め込みテーブルが提供する性能改善を維持できるか検証した。その結果、ゼロからトレーニングされたnanochat-、Llama-、およびGPT-2-familyのモデル群において、4ビットのテーブルを使用することでテーブルメモリを約75%削減し、かつテーブル追加によるバリデーション損失の改善分を99%以上保持できることを示した。さらに少ないビット数を使用すると性能が低下するものの、短いファインチューニング期間でこの損失の大部分を回復できることも判明した。
また、削減されたメモリ容量をより大きなテーブルに再投資することで、元のフル精度テーブルの性能を上回りながらも、全体としてより少ないメモリ使用量を実現できるとした。これらのテーブルメモリ削減効果は、既存の大規模モデルにも適用可能であり、DeepSeek-V4.1-FlashおよびQwen3.8-Flash-Nextモデルにおいては、低ビットテーブルによりテーブルメモリを47〜55%削減し、パープレキシティの増加を1.2%未満に抑えつつ、下流タスクの性能をほぼ維持した。これらの知見は、Nグラム埋め込みのメモリ要件を削減し、削減された容量をモデル性能の向上に活用するための実用的な手段として、低ビット精度が有効であることを確立するものである。
参考: arXiv cs.CL (アーカイブ) — 2026年10月23日 02:56 (JST)
原文ハイライト"low-bit tables save 47-55% of table memory, with perplexity increases of less than 1.2%"