アナマリア＝ロバータ・ハートゥル (Anamaria-Roberta Hartl) 氏らは2026年10月19日(現地時間)、結合行列記憶のための新たな更新ルールであるクロネッカーデルタルール (Kronecker Delta Rule) に基づく線形注意アーキテクチャ「クロンLSTM (KronLSTM)」を提案した論文をarXiv cs.LGで公開した。KronLSTMは、xLSTMファミリーを拡張し、記憶行列空間の単一方向にのみ記憶を修正することで、これまでのデルタルール更新と比較して、以前に保存された情報への干渉を低減する仕組みを持つ。
この「クロンLSTM」の記憶修正メカニズムは、標的とされた結合を修正しながら、記憶行列空間の単一方向にのみ記憶を変更する。これにより、記憶が以前に保存された情報に与える干渉が最小限に抑えられ、特に長文コンテキストの言語モデリングに適している。
クロンLSTMが生み出す記憶ダイナミクスは、マルコフ連鎖として数学的に記述され、定常状態分布に収束する。記憶行列の期待ノルムは入力シーケンス全体にわたって均一に有界に保たれる。これにより、クロンLSTMは記憶状態のための追加の正規化や安定化メカニズムを必要とせず、安定した記憶ダイナミクスを確保する。
実験では、クロンLSTMが既存の線形注意アーキテクチャ、特にデルタネット (DeltaNet) ファミリーのモデルと競争力があり、多くの場合それらを上回る性能を示すことが確認された。特に長文コンテキストのベンチマークにおいて強力な性能を発揮している。これらの結果は、クロネッカーデルタルールがリカレント線形注意アーキテクチャにおける安定した結合記憶のための有効かつ解析的に扱いやすい基盤であることを示している。
本研究のコードはGitHub (https://github.com/NX-AI/KronLSTM)、モデルはHugging Face (https://huggingface.co/collections/NX-AI/kronlstm) でオープンソースとして公開されている。
参考: arXiv cs.LG (アーカイブ) — 2026年10月20日 02:56 (JST)
原文ハイライト"KronLSTM ensures stable memory dynamics without requiring additional normalization and stabilization mechanisms"