マルチステート線形アテンション向け新ルーティング機構 MERLIN が長文コンテキスト処理を改善
Hee Seung Hwang、Sanghyuk Chun、Xindi Wu、Olga Russakovsky、Zhiwei Deng の各研究者らは2026年10月27日(現地時間)、論文発表サイト arXiv にて、大規模言語モデル (Large Language Models) の長文コンテキストモデリングにおける効率性を高める新たなルーティング機構「MERLIN (MomEnt Routing for multi-state LINear attention)」を発表した。既存の Multi-State Linear Attention (MSLA) はクエリとセグメントのキー間の平均アライメントのみを使用するが、MERLIN は各セグメントのキーの第一・第二モーメントを追跡し、より内容認識的な情報集約を可能にする。