Xingyu Liu氏ら研究チームは2026年11月6日(現地時間)、低精度大規模推論モデル（LRMs）の性能を飛躍的に向上させる新たな量子化フレームワーク「CodeQuant2」を提案した。このフレームワークは、推論タスクにおける過度な量子化に起因する性能低下という課題を克服し、標準的なBF16と比較して最大2.85倍の高速化と実質的な精度改善を達成するとされる。本研究成果はarXiv cs.CLで発表された。
大規模推論モデル（LRMs）は、より長い中間推論トレースを生成することでタスク性能を高める能力を持つ。しかし、このアプローチは推論コストの大幅な増加を招くため、計算効率を高める低精度量子化の重要性が近年高まっている。一方で、過度に量子化されたモデルは、特に推論タスクにおいて性能が低下する傾向があり、この点が主要な技術的課題として指摘されてきた。
研究チームは、推論の初期デコーディングステップ中に活性化のより大きな変動が観察されるという重要な発見をした。従来のキャリブレーション手法では、これらの初期状態を省略することが一般的であり、結果として活性化の変動が見過ごされる可能性があった。この推論に特有の量子化課題に対処するため、研究チームはクラスタリングベースのLUT（ルックアップテーブル）量子化フレームワークである「CodeQuant2」を開発し、その詳細を明らかにした。
CodeQuant2は、いくつかの革新的な技術を統合している。まず、回転とスケーリングの手法を導入することで、活性化の異常値を効果的に軽減する。次に、クラスタリングアルゴリズムを利用して、非均一な重み分布を正確に表現することを可能にする。さらに、このフレームワークは、各層の量子化の難易度に応じてコードブックのサイズを適応的に調整する機能を備えている。推論時の活性化挙動に関する綿密な観察に基づいて、CodeQuant2はキャリブレーションサンプルの選択プロセスを改善し、実際のデコーディング統計により一層適合させることで、量子化の精度を高めている。
これらの技術的進歩は、カスタマイズされたLUT CUDA kernelと組み合わせることで、顕著な成果をもたらす。報告によると、CodeQuant2は推論ベンチマークにおいて実質的な精度向上を実現し、標準的なBF16フォーマットと比較して最大2.85倍の速度向上を達成している。これにより、大規模推論モデルの効率的な運用と実用化に向けた新たな道が拓かれると期待される。
参考: arXiv cs.CL — 2026年11月7日 03:48 (JST)
原文ハイライト"CodeQuant2: Enhanced Outlier Mitigation and Adaptive Clustering for Low-Precision LRMs"