パーヴェル・グー (Parvel Gu) は7月14日(現地時間)、arXiv cs.AIで論文を公開し、Mixture-of-Experts (MoE) ルーティングの不連続性が、4ビットKVキャッシュの量子化によって引き起こされる「フリップ」現象を明らかにした。このフリップはトークンを決定境界を越えさせ、エキスパートの活性化を反転させる。本研究は新たな緩和策を提案するものではなく、因果関係の解明、経験的発見、および検出限界に関する結果を提供している。
本論文は、デプロイを目的とした数値的な摂動がMixture-of-Experts (MoE) モデルのルーティングに与える影響をシミュレートした。BF16ゲートによって読み取られる4ビットKVキャッシュの量子化は、トークンを決定境界を越えさせ、結果としてどのエキスパートが起動するかをフリップさせることが示された。
4回の実験からなる仕組みを用いて、量子化ダメージの「経路介在率 (RMF)」が評価された。また、トークンレベルのアトリビューションによってそのメカニズムごとの分解が行われ、事前登録されたプローブが3つのアーキテクチャにわたる発見を裏付けた。OLMoE-1B-7Bモデルにおける4ビットKVキャッシュのパイロット研究では、ダメージの約3分の1がルーティングを介したものであることが判明した。具体的には、RMFは約0.31（発見では0.31、プロセス再現平均では0.313 ± 0.020、事前登録された再実行では0.231）である。
デプロイ可能なルーターマージンはフリップが発生したことを検出できるものの（AUC 0.772）、有害なフリップと有益なフリップを区別することは偶然のレベルにとどまる。テストされた局所的で推論時に観測可能なルータースタティスティクスの中には、フリップの損失符号を偶然のレベル以上に予測するものは見つからなかった。これは、この特徴ファミリーに限定された選択的な修復を制限する経験的な利点検出の障壁 (empirical benefit detection barrier)となっている。
「signed-flip tax」とsign-inseparabilityはモデル間で共通して見られる。また、clean-reference remedyによる効果はアーキテクチャによって変調されることが示された。さらに、制御された同一チェックポイントでのフラグ交換は、ゲートの正規化規則がダメージの大きさを調整する要因であり、経路回復メカニズムではないことを再定義した。
参考: arXiv cs.AI (アーカイブ) — 2026年8月13日 13:00 (JST)
原文ハイライト"Detecting a Route Flip Is Easier Than Knowing Whether to Fix It"