ミンサン・キム（Minsang Kim）氏らは2026年10月20日(現地時間)、学術論文公開サイトarXivで研究論文を公開し、スパースな混合エキスパート（MoE）言語モデル向けに、ルーティングを考慮したKVキャッシュ圧縮手法「MoEZip」を提案した。この手法は、長期コンテキスト推論におけるメモリーのボトルネックを軽減し、KVキャッシュの効率的な利用と生成品質の維持を両立させる。実験では、既存の手法を大幅に上回る性能を示した。
混合エキスパート（MoE: Mixture-of-Experts）言語モデルは、トークンごとにパラメータの小さなサブセットを活性化することで、モデル容量を効率的に拡張できる。しかし、長期コンテキスト推論においては、キーバリューキャッシュ（KV Cache）がシーケンス長に比例して増加するため、メモリーが主要なボトルネックとなっていた。これまでのKVキャッシュ圧縮手法は密なトランスフォーマー向けに開発されており、MoEモデルに特有の課題、すなわちKVエビクション（強制排除）が回答生成中のエキスパート選択に影響を与え、生成品質を低下させる問題は考慮されていなかった。
提案されたMoEZipは、スパースなMoE言語モデル向けに、ルーティングを考慮したKVキャッシュ圧縮を実現する。エキスパートルーティングの摂動に対する感度を推定するため、ルーティング分布のフィッシャー情報行列（Fisher information matrix）に基づく新しい評価指標を導入した。MoEZipはこの指標とアテンション重みを組み合わせて、コンテキストのルーティングを考慮したスコアリングを行う。さらに、密なアーキテクチャとスパースMoEアーキテクチャの両方に対応するエビクション手法を組み合わせた補完的なスコアリングシステムを構築した。
複数のベンチマークを用いた実験により、MoEZipはアグレッシブなキャッシュ圧縮下でも堅牢な性能を発揮することが示された。KVリテンション比率10%の条件下で、MoEZipはロングベンチ（LongBench）で平均24ポイント、ルーラー（RULER）で平均20ポイント、既存の最先端（SoTA）ベースラインを上回る性能を達成した。これは、LongBenchで2.3倍、RULERで4.9倍高いスコアに相当する。本研究は、ニューラル情報処理システム学会（NeurIPS）2026に採択された。
参考: arXiv cs.LG (アーカイブ) — 2026年10月23日 13:00 (JST)
原文ハイライト"MoEZip: Routing-Aware KV Cache Compression for Sparse Mixture-of-Experts LLMs"