Jiaming Hu氏らは2026年10月27日(現地時間)、Sparse Mixture-of-Experts (MoE) モデルのトレーニングにおけるメモリ制約と計算ボトルネックを解消する新システム「LRMoE」を発表しました。このシステムは、バックワード要求の再キャリブレーションとワークロードのバランス調整を同時に行うことで、限られたGPUメモリ上での効率的なMoEトレーニングを実現します。
Sparse Mixture-of-Experts (MoE) モデルはWebアプリケーション向けにスケーラブルな容量を提供しますが、不均一なルーティングが計算および通信のボトルネックを引き起こす課題を抱えていました。また、既存の配置およびレプリケーション手法はワークロードを再分配するものの、追加のエキスパートコピーがトークン関連のバッファとGPUメモリを競合していました。
LRMoEは、メモリを意識したMoEトレーニングシステムであり、バックワード要求を再キャリブレーションし、保持されたワークロードをバランスさせます。フォワード実行中には、リソース制約の下で保持クォータとエキスパートの配置を計画し、全てのルーティングされた計算を保持します。バックプロパゲーション中には、負荷再キャリブレーション指標を用いて各トークンとエキスパートのペアがエキスパート更新に寄与する度合いを推定し、これらのクォータ内でペアを選択します。
容量認識ルーティングアルゴリズムが、保持されたペアを元のエキスパートの適格なインスタンス間に分配します。物理的な圧縮によって、より小さな通信ペイロードと可変サイズのグループ化された汎用行列乗算 (GEMM) が形成され、これによりバックワードトラフィック、計算、および実行バッファの要求が削減されます。Qwen3-30B-A3BとGLM4.5-106B-A12Bを用いた実験では、LRMoEはSYMIと比較して、固定損失目標までのMoE層の累積トレーニング時間を大幅に削減しました。
参考: arXiv cs.AI — 2026年10月31日 13:00 (JST)
原文ハイライト"reduces cumulative MoE-layer training time to fixed-loss targets by 21.2-44.8% relative to SYMI."