Hanyang Liら研究チームは2026年10月8日(現地時間)、機械学習研究論文を扱うarXivにて、AdamWオプティマイザの4ビット状態量子化を再設計した手法を発表した。この研究は、量子化誤差が後続のアダプティブ更新に伝播する課題に対し、「rounding space」の観点から最適化ダイナミクスを分析し、新しい量子化手法を提案している。
提案された主要な手法はZero-Inclusive Preconditioner-space Stochastic Rounding (ZIP-SR)とZero-Excluding EDEN calibration (ZE-EDEN)の二つである。
ZIP-SRは、第2モーメントのコードブックにゼロを保持し、プリコンディショナー空間で確率的丸めを計算する。一方、ZE-EDENはゼロを除外する第2モーメントコードブックを使用し、量子化された第2モーメントブロックを再スケーリングすることで、正の量子化フロアによるプリコンディショナーの歪みを軽減する。
両手法は、第1モーメントに4ビットNormalFloat (NF4)を使用し、トレーニングの最終10%期間にはLM-headの第1モーメントに対してターゲットを絞った確率的丸めを適用する。GPTスタイルおよびLlamaスタイルの事前学習実験において、1億3000万から27億パラメータのモデルで評価された。結果として、両手法はTorchAOの4ビットAdamWと比較して、32ビットAdamWに対する検証損失ギャップをすべてのモデルサイズで縮小し、最大の削減率は70%に達した。
さらに、全パラメータの教師ありファインチューニングでは、これらの手法はTorchAOよりも低い検証損失を達成し、ダウンストリームタスクにおいて32ビットAdamWに近い性能を維持することが示されている。
参考: arXiv cs.LG (アーカイブ) — 2026年10月9日 02:58 (JST)