#Sparsity 関連記事

ニューロモルフィック拡散言語モデル、演算・メモリボトルネック解消へ

arXivは2026年7月24日(現地時間)、論文を公開し、オートレグレッシブ (AR) 大規模言語モデル (LLMs) が抱える推論時の非効率性を改善するニューロモルフィック拡散言語モデル (N-MDLMs) を提案した。N-MDLMsは、ブロック拡散とスパイクベースのニューロモルフィック計算を統合することで、スループットとエネルギー効率の同時改善を目指す。本研究はDengyu Wu氏らが共同で発表した。

リサーチ・論文 6月15日 00:25

オンポリシー蒸留、パラメータ更新の疎性・幾何学を分析

arXiv cs.LGは2026年6月11日(現地時間)、Guo Yu氏らが執筆した論文「Dense Supervision, Sparse Updates: On the Sparsity and Geometry of On-Policy Distillation」を発表した。本研究は、オンポリシー蒸留 (OPD) におけるモデルのパラメータ変化に焦点を当て、その疎性および幾何学的性質に関する主要な分析結果を提示している。分析は複数の言語モデルと視覚言語モデルのペア、およびユースケースにわたって実施された。