Gated DeltaNet-2を発表、線形アテンションで消去・書き込み機能を分離
Ali Hatamizadeh (アリ・ハタミザデー) 氏、Yejin Choi (イェジン・チョイ) 氏、Jan Kautz (ヤン・カウツ) 氏らの研究チームは、2026年5月21日(現地時間)にarXiv cs.AIで、線形アテンションの新たなモデル「Gated DeltaNet-2」を発表した。このモデルは、既存の「Gated DeltaNet」および「Kimi Delta Attention (KDA)」において共通する、情報消去と新規書き込みが単一のスカラーゲートで制御されるという制約に対処している。