#MoEZip

MoEZipが混合エキスパート型LLMのKVキャッシュを圧縮

ミンサン・キム（Minsang Kim）氏らは2026年10月20日(現地時間)、学術論文公開サイトarXivで研究論文を公開し、スパースな混合エキスパート（MoE）言語モデル向けに、ルーティングを考慮したKVキャッシュ圧縮手法「MoEZip」を提案した。この手法は、長期コンテキスト推論におけるメモリーのボトルネックを軽減し、KVキャッシュの効率的な利用と生成品質の維持を両立させる。実験では、既存の手法を大幅に上回る性能を示した。