Hee Seung Hwang、Sanghyuk Chun、Xindi Wu、Olga Russakovsky、Zhiwei Deng の各研究者らは2026年10月27日(現地時間)、論文発表サイト arXiv にて、大規模言語モデル (Large Language Models) の長文コンテキストモデリングにおける効率性を高める新たなルーティング機構「MERLIN (MomEnt Routing for multi-state LINear attention)」を発表した。既存の Multi-State Linear Attention (MSLA) はクエリとセグメントのキー間の平均アライメントのみを使用するが、MERLIN は各セグメントのキーの第一・第二モーメントを追跡し、より内容認識的な情報集約を可能にする。
自己注意機構 (Self-attention) は長文シーケンスモデリングにおいて重要な役割を果たすものの、その二次時間計算量 (quadratic time complexity) が大規模言語モデルのスケーリングを制限する要因となっている。これに対し、文脈をセグメントに分割し、それぞれを独自の記憶状態 (memory state) に圧縮することでシーケンスモデリングの効率化を図る Multi-State Linear Attention (MSLA) 機構が提案されてきた。
従来の MSLA は、クエリと各セグメントのキーとの間の平均アライメントのみを用いて各記憶状態から抽出された情報を集約しており、セグメント内でのアライメントの分布を考慮していなかった。研究チームは、セグメントのクエリに対する関連性をより包括的にモデル化し、集約にアライメントの分散を組み込むため、MERLIN を提案した。MERLIN は各セグメントのキーの第一モーメントと第二モーメントを追跡する仕組みを持つ。これにより、クエリは各セグメントとのアライメントの平均と分散の両方を復元し、各状態からの読み出しをより内容認識的に集約できる。
Gated DeltaNet-1.3B および Mamba-2-780M のマルチステート変種を用いた実験では、MERLIN がさまざまな長文コンテキストタスクにおいて既存の集約手法を一貫して上回る性能を示した。特に、RULER needle-in-a-haystack および長文コンテキスト QA では、Gated DeltaNet-1.3B で +8.3%、Mamba-2-780M で +7.0% の性能向上を達成した。また、LongBench の多様なサブタスクでは、それぞれ +13.5%、+12.0% の向上を示した。MERLIN は、記憶消費量が4倍多いベースラインをも上回る結果を出している。この技術は、MSLA モデルの長文コンテキスト能力を向上させるシンプルかつ汎用的なルーティング機構を提供する。
参考: arXiv cs.CL (アーカイブ) — 2026年10月28日 02:55 (JST)
原文ハイライト"MERLIN consistently outperforms existing aggregation methods on various long-context tasks."