MoEモデル量子化ダメージ、経路フリップの検出と修復課題を提示
パーヴェル・グー (Parvel Gu) は7月14日(現地時間)、arXiv cs.AIで論文を公開し、Mixture-of-Experts (MoE) ルーティングの不連続性が、4ビットKVキャッシュの量子化によって引き起こされる「フリップ」現象を明らかにした。このフリップはトークンを決定境界を越えさせ、エキスパートの活性化を反転させる。本研究は新たな緩和策を提案するものではなく、因果関係の解明、経験的発見、および検出限界に関する結果を提供している。