R&Rモデル向け量子化、MXFP6で推論速度大幅向上
arXiv cs.AIは11月15日(現地時間)、Recommendation and Ranking (R&R) モデルにおける量子化技術の進展に関する論文を発表した。特にデジタル広告分野のR&Rモデルは、高い推論スループットと精度損失への極めて高い敏感性が求められる。同論文は、MXFP8および6ビットのMXFP6フォーマットを適用することで、モデル品質を損なうことなく推論速度の大幅な向上が達成されたことを示している。
Tag
1 件の関連記事