arXiv cs.LGは2026年9月26日(現地時間)付けで、Shivesh Rane氏による論文「An Input-Dependent Readout Phase for Resonant Sequence Models」を公開した。この論文は、固定サイズ状態を持つシーケンスモデル「ResonatorLM」の読み出し位相を現在のトークンに依存させる新手法を提案している。この変更により、長文処理における性能劣化が解消され、モデルのパラメーター増加は0.2%に抑えられるという。
シーケンスモデルは、従来のTransformerモデルが持つアテンション（注意機構）の二次的なコストを回避するため、固定サイズの内部状態を用いる設計が注目されている。しかし、入力に依存する状態遷移を採用するとFFT（高速フーリエ変換）ベースの訓練コストが発生するという課題があった。一方で、固定された遷移を持つモデルでは畳み込みパスの効率は維持されるものの、すべての入力に対してメモリが同じ方法で読み出されるという制約があった。
ResonatorLMは後者のモデルに分類され、減衰した複素数オシレーターのバンクを、ヘッドごとに固定された学習済み位相を通じて読み出す仕組みを採用している。Rane氏が提案する新手法は、この読み出し位相を現在のトークンの関数とすることで、読み出しプロセスのみに入力依存性を付加する点に特徴がある。このアプローチにより、モデルの中核をなす畳み込みの正確性は維持され、かつモデル全体のパラメーター増加はわずか0.2パーセントに留まる。
論文では、未訓練のバンク分析を通じて、位相が経過時間を符号化するものの、一般的なトークンが2～8ステップで背景ノイズ以下になること、また減衰を調整しても線形再構築が約16トークンを超えて拡張されないことを示している。しかし、WikiText-2を用いた6Mパラメーターの文字レベルモデルでの評価では、提案された入力依存位相が顕著な効果を発揮した。具体的には、訓練長である256トークンでの性能は元のモデルと同等である一方で、訓練長を超える入力における性能劣化が見事に解消された。
テストでは、256トークンで訓練されたモデルを1024トークンで評価した場合、従来のモデルではパープレキシティ（モデルの予測精度を示す指標）が12.81であったのに対し、提案手法を適用したモデルでは3.76へと大幅に低下した。この性能劣化は、訓練が曝露した範囲を超える履歴を蓄積する長記憶ヘッドに起因すると分析されている。なお、学習された位相は距離そのものではなく現在の文字を追跡しており、検索性能の改善には寄与しないことも明らかにされている。
参考: arXiv cs.LG (アーカイブ) — 2026年10月12日 13:00 (JST)