arXiv cs.AIは11月15日(現地時間)、Recommendation and Ranking (R&R) モデルにおける量子化技術の進展に関する論文を発表した。特にデジタル広告分野のR&Rモデルは、高い推論スループットと精度損失への極めて高い敏感性が求められる。同論文は、MXFP8および6ビットのMXFP6フォーマットを適用することで、モデル品質を損なうことなく推論速度の大幅な向上が達成されたことを示している。

この研究では、AMD MI350Xアーキテクチャ上で、産業規模のR&R推論におけるMXFP8および6ビットMXFP6フォーマットの実証評価が行われた。R&Rモデルは通常、FP16またはFP32をベースラインとした場合に0.01%という厳格な正規化エントロピー (NE) マージン内にモデル品質を維持する必要があり、これが従来の積極的な量子化の導入を阻んできた。

論文によると、重みと活性化の両方を量子化し、6ビット要素で直接計算するMXFP6 GEMMにおいて、モデル品質を犠牲にすることなく顕著な速度向上が報告された。これはR&Rおよび大規模言語モデル (LLM) のドメイン全体を通じて初めての報告となる。また、MXFP8がrow-wise FP8の実行可能な代替となることも示され、両フォーマットはモデル上でほぼ同等の精度を発揮するため、各GEMM形状に応じてより高速なカーネルを選択できる。

具体的な測定結果として、2つの本番広告ランキングモデルにおいて、MXFP8ではFP16と比較して1.33倍から1.55倍のGEMMカーネル速度向上が、MXFP6では1.73倍から1.99倍の速度向上が全てのサポート対象リニアレイヤーで確認された。個別レイヤーではMXFP6で最大2.90倍の速度向上を記録している。さらに、選択的なMXFP6の適用により、エンドツーエンド推論スループットは、モデルAでFP8構成と比較して1.5%から5.3%、モデルBで7.6%から14.3%のゲインを示した。


参考: arXiv cs.AI (アーカイブ) — 2026年11月16日 14:00 (JST)

原文ハイライト

"Advancing Quantization for R&R Models with Microscaling Formats"

この記事をシェア
X はてブ LinkedIn