R&Rモデル向け量子化、MXFP6で推論速度大幅向上
arXiv cs.AIは11月15日(現地時間)、Recommendation and Ranking (R&R) モデルにおける量子化技術の進展に関する論文を発表した。特にデジタル広告分野のR&Rモデルは、高い推論スループットと精度損失への極めて高い敏感性が求められる。同論文は、MXFP8および6ビットのMXFP6フォーマットを適用することで、モデル品質を損なうことなく推論速度の大幅な向上が達成されたことを示している。
Tag
2 件の関連記事
arXiv cs.AIは11月15日(現地時間)、Recommendation and Ranking (R&R) モデルにおける量子化技術の進展に関する論文を発表した。特にデジタル広告分野のR&Rモデルは、高い推論スループットと精度損失への極めて高い敏感性が求められる。同論文は、MXFP8および6ビットのMXFP6フォーマットを適用することで、モデル品質を損なうことなく推論速度の大幅な向上が達成されたことを示している。
Hugging Face Blogは2026年10月1日(現地時間)付けで、大規模Mixture-of-Experts (MoE) モデルのトレーニング向けに再設計されたオープンな基盤「Olmo-core 3」のリリースを報じた。Olmo-core 3は、MoEトレーニングを数兆パラメータ規模まで拡張しつつ、計算効率を維持するように設計されている。これはOlmoの次世代を支える中核システムの一つであり、新たなモデル開発におけるツールとトレーニングインフラをオープンにする取り組みの一環として位置づけられる。