arXivは2026年7月24日(現地時間)、論文を公開し、オートレグレッシブ (AR) 大規模言語モデル (LLMs) が抱える推論時の非効率性を改善するニューロモルフィック拡散言語モデル (N-MDLMs) を提案した。N-MDLMsは、ブロック拡散とスパイクベースのニューロモルフィック計算を統合することで、スループットとエネルギー効率の同時改善を目指す。本研究はDengyu Wu氏らが共同で発表した。
オートレグレッシブ (AR) 大規模言語モデル (LLMs) は、推論時に生成される各トークンがモデルパラメータ全体へのアクセスを必要とするため、演算強度 (operational intensity) が低く、エネルギー消費が高いという非効率性が指摘されている。これに対し、マスクド拡散言語モデル (MDLMs) は、メモリバウンドな設定において、パラメータアクセスごとに複数のトークンを生成することで、この制限を部分的に解決する。
本研究では、in-chipメモリが豊富な最新プラットフォームでの推論効率をさらに向上させるため、ニューロモルフィック拡散言語モデル (N-MDLMs) を提案している。N-MDLMsはブロック拡散とスパイクベースのニューロモルフィック計算を統合することで、スループットとエネルギー効率の双方を改善する。ブロック拡散は、パラメータアクセスごとに複数のトークンを生成することでトークンスループットを高め、スパイク誘起スパース性 (spike-induced sparsity) は、非アクティブなチャネルをスキップすることにより、実効的なパラメータトラフィックと計算を削減する。
Dengyu Wu氏、Clement Ruah氏、Jiechen Chen氏、Bipin Rajendran氏、Osvaldo Simeone氏らは、スパース性と拡散の相乗効果を分析するため、トークンレベルの屋上線着想モデル (token-level roofline-inspired model) を開発し、ブロック並列生成とスパイクスパース性がデコード効率に与える複合的な影響を捉えた。翻訳タスクでの実験結果は、スパイク誘起スパース性の効果により、MDLMsがAR-LLMsを上回ることができない計算集約型プラットフォームにおいても、N-MDLMsがエネルギー効率とスループットを大幅に向上させることを示している。この論文は、2026 IEEE Workshop on Signal Processing Systems (SiPS) での発表が承認されている。
参考: arXiv cs.CL (アーカイブ) — 2026年7月29日 13:00 (JST)
原文ハイライト"Addressing Compute and Memory Bottlenecks via Sparsity and Block Denoising"