Amazonは2026年11月9日(現地時間)、Hugging Face Blogにて、Mixture-of-Experts (MoE) 言語モデルのメモリボトルネックを解消する新しい専門家枝刈り手法「HOPE (Higher-Order Pruning of Experts)」を発表した。この手法は、専門家間の相互作用を考慮することで、従来の枝刈り方法を上回る性能向上を実現する。
Mixture-of-Experts (MoE) モデルは、大規模言語モデル (LLM) を数百億パラメータ規模に拡張可能とする一方、推論時に各専門家 (expert MLP) がメモリを占有するという課題を抱えている。例えば、Qwen3.5-122Bでは、その約250 GBのパラメータメモリフットプリントの95%が専門家MLPによって占められているが、実際に使用されるのは各レイヤーで8つの専門家のみである。
このメモリボトルネックに対する直接的な解決策の一つが専門家枝刈りである。従来の枝刈り手法は各専門家を個別に評価する「一次手法」であったため、専門家間の協力関係を見落としていた。しかし、実際には専門家は協調的なグループを形成することが観測されている。
HOPEは、このようなペアワイズの専門家相互作用を考慮する「二次手法」として開発された。この手法は、枝刈りによって発生するエラーの上限を厳密に定義する代替目標「Z」を最小化する。このZは、専門家のペア間の相互作用項を自然に含む。
F行列を用いて専門家の重要度と協調的な寄与を定量化し、二次計画法 (QP) を解くことで最適な枝刈りセットを特定する。50%の枝刈り率において、HOPEは既存の手法を上回り、特にエージェント型コーディングタスクで最大6.1%の性能向上を達成する。
参考: Hugging Face Blog — 2026年11月9日 21:34 (JST)
原文ハイライト"Higher-Order Pruning of Experts), a second-order method that accounts for pairwise expert interactions."