LLMの長文コンテキストボトルネック解消へ、アテンション準二次スケーリング手法 ZHAを提案
Leon Lufkin氏らは2026年10月30日(現地時間)、大規模言語モデル (LLMs) のアテンションにおける長文コンテキストのボトルネックを解消する、漸近的に準二次的なスパースアテンション手法「Zyphra Hierarchical Attention (ZHA)」に関する論文をarXiv cs.CLで公開した。ZHAは階層的ツリー構造インデクサに基づき、従来の二次スケーリング問題への解決策を提供する。