MoEZipが混合エキスパート型LLMのKVキャッシュを圧縮
ミンサン・キム（Minsang Kim）氏らは2026年10月20日(現地時間)、学術論文公開サイトarXivで研究論文を公開し、スパースな混合エキスパート（MoE）言語モデル向けに、ルーティングを考慮したKVキャッシュ圧縮手法「MoEZip」を提案した。この手法は、長期コンテキスト推論におけるメモリーのボトルネックを軽減し、KVキャッシュの効率的な利用と生成品質の維持を両立させる。実験では、既存の手法を大幅に上回る性能を示した。
Tag
#RULER
3 件の関連記事
arXivがKVキャッシュ圧縮新手法「Latent Compaction」発表
arXiv cs.CLが2026年10月14日(現地時間)付けで報じたところによると、インファ・チェン (Yingfa Chen) 氏らが、長文コンテキスト処理におけるキーバリュー (KV) キャッシュの圧縮に関する新しい手法「Latent Compaction」を発表した。この手法は、テスト時学習 (test-time training) を通じて文書固有のコンパクトなキャッシュを学習し、長大なコンテキストにおけるメモリ使用量とアテンションコストを削減しながら、未知の質問に対する情報保持能力を維持することを目指す。
SVG生成の報酬課題解決へ「ルーラー」手法、arXivが論文公開
arXiv cs.CVは2026年9月22日(現地時間)、自然言語の指示からScalable Vector Graphics (SVG) コードを生成する際の評価とポリシー最適化における課題に対処する新しい手法「ルーラー (RULER)」に関する論文を発表した。RULERは、多軸ルーブリックに基づく評価と強化学習 (RL) の報酬システムを導入し、既存のスカラー指標が抱える「報酬ハッキング」の問題解決を図る。