共鳴シーケンスモデル、入力依存型読み出しで長文処理を改善
arXiv cs.LGは2026年9月26日(現地時間)付けで、Shivesh Rane氏による論文「An Input-Dependent Readout Phase for Resonant Sequence Models」を公開した。この論文は、固定サイズ状態を持つシーケンスモデル「ResonatorLM」の読み出し位相を現在のトークンに依存させる新手法を提案している。この変更により、長文処理における性能劣化が解消され、モデルのパラメーター増加は0.2%に抑えられるという。