Apple ML Researchは2026年7月5日(現地時間)、研究論文「Path-Constrained Mixture-of-Experts」を公開した。本研究は、Sparse Mixture-of-Experts (MoE) アーキテクチャにおけるトークンごとの専門家選択経路に着目し、その統計的非効率性を解消する新しい設計軸を提案した。このアプローチにより、既存の独立ルーティング手法を補完し、性能改善と補助損失の不要化を実現するとしている。
Sparse Mixture-of-Experts (MoE) アーキテクチャでは、各トークンが各層で独立して専門家のサブセットを経由する。今回の研究では、このMoEの計算を、トークンが全層を通して行う専門家選択のシーケンスである専門家経路（expert paths）として捉えることを提案した。
この視点から、N個の専門家とL層の場合にN^L通りの経路が存在するにもかかわらず、実際にはトークンが言語機能と整合する経路の少数に集中し、大多数の経路が未探索である統計的非効率性が明らかになった。この知見に基づき、自然な集中を増幅するために、効果的な経路空間を制約するアーキテクチャが開発された。
具体的な実装として、連続する層のブロック間でルーターパラメーターを共有するPathMoE（パスエムオーイー）を導入した。分析の結果、PathMoEは出現する経路構造を増幅し、より集中した経路クラスター、層間の一貫性の向上、ルーティング摂動（perturbations）に対する堅牢性の強化をもたらすことが確認された。
0.9Bおよび16BパラメーターのPathMoEモデルを用いた実験では、独立ルーティングと比較してパープレキシティ（perplexity）と下流タスク（downstream tasks）において一貫した改善を示し、同時に補助損失（auxiliary losses）の必要性を排除した。これらの結果は、専門家経路がMoEアーキテクチャの有用な設計軸であり、既存の独立ルーティングメカニズムに関する研究を補完するものであると述べている。
関連する発表として、2025年7月11日公開のOmni-Router: Sharing Routing Decisions in Sparse Mixture-of-Experts for Speech Recognitionや、2024年11月18日公開のDuo-LLM: A Framework for Studying Adaptive Computation in Large Language Modelsも言及された。
参考: Apple ML Research — 2026年7月6日 09:00 (JST)
原文ハイライト"route each token through a subset of experts at each layer independently"