#トレーニング効率化

LRMoE、メモリ制約下MoEモデルの訓練効率を向上

Jiaming Hu氏らは2026年10月27日(現地時間)、Sparse Mixture-of-Experts (MoE) モデルのトレーニングにおけるメモリ制約と計算ボトルネックを解消する新システム「LRMoE」を発表しました。このシステムは、バックワード要求の再キャリブレーションとワークロードのバランス調整を同時に行うことで、限られたGPUメモリ上での効率的なMoEトレーニングを実現します。