言語モデルのNグラム埋め込みを低ビット化、メモリと性能を両立
Stephen Chung氏らは2026年10月22日(現地時間)、arXiv cs.CL上で公開した論文「Low-Bit N-Gram Embeddings for Language Models」において、大規模言語モデルが性能向上のために利用するNグラム埋め込みテーブルのメモリ消費量削減に関する研究成果を発表した。研究では、Nグラム埋め込みを低精度で保存し、様々な量子化手法とビット割り当てを体系的に調査した。これにより、テーブルのメモリ要件を大幅に削減しつつ、性能の維持または向上を達成できるとしている。