アブシン・ハダンギ (Afshin Khadangi) 氏は2026年10月14日(現地時間)、研究論文リポジトリarXivにて、新しいTransformerアテンション演算子「Continuum Attention (CA)」に関する論文を発表した。CAは、従来の離散的なキーと値の参照機構を、連続的な区分線形メモリカーブ上の積分に置き換える因果Transformerアテンション演算子として提案されており、次世代モデルの効率と性能向上に寄与すると期待されている。
ハダンギ氏が提案するContinuum Attentionは、Transformerモデルの根幹をなすアテンション機構に革新をもたらすものである。従来のTransformerは、入力シーケンス中の各要素（トークン）に対する「キー」と「値」を離散的に参照し、それぞれの関連度に基づいて重み付けされた値の合計を算出する。これに対しCAは、この離散的なルックアッププロセスを、連続的な区分線形メモリカーブ上での積分へと根本的に置き換える。
具体的には、各クエリが連続的なメモリカーブに沿って指数関連度密度を誘起する。この誘起された密度と、カーブ上で補間された値との積分演算によって、アテンションが算出される仕組みだ。この手法により、半トークン境界の寄与をも含む閉形式の指数モーメントから、正確な正規化アテンション値が得られるという。
さらに、CAの勾配は最大二次までのモーメントから解析的に導出されるため、並列GPU実装が可能でありながら、標準のTransformerデコーダーが持つ二次的なシーケンス複雑性を維持する。この特性は、大規模なシーケンスデータ処理において、計算効率とスケーラビリティを両立させる上で重要な利点となる。
論文では、CAの有効性を検証するための実験結果も報告されている。その結果、CAは通常のsoftmaxアテンションと比較して平均検証負の対数尤度を0.0200 nats per byte、またfocal attentionと比較しても0.0480 nats per byte削減したとされている。これは、特定のタスクにおいてCAが既存のアテンション機構よりも優れた予測性能を示すことを示唆する。
追加の検証スライスでは、最も強力な選択されたsoftmaxベースラインに対しても、CAが0.0457 nats per byteの優位性を示すことが確認されており、これには95%の信頼区間が伴う。これらの発見は、連続積分に基づくアテンションがTransformerの有望な代替手段であることを明確に示している。ただし、研究者は大規模な汎化の可能性についてはさらなる検討が必要であると述べ、今後の研究課題として挙げている。
参考: arXiv cs.LG (アーカイブ) — 2026年10月15日 02:57 (JST)