Leon Lufkin氏らは2026年10月30日(現地時間)、大規模言語モデル (LLMs) のアテンションにおける長文コンテキストのボトルネックを解消する、漸近的に準二次的なスパースアテンション手法「Zyphra Hierarchical Attention (ZHA)」に関する論文をarXiv cs.CLで公開した。ZHAは階層的ツリー構造インデクサに基づき、従来の二次スケーリング問題への解決策を提供する。
ZHAは、KV cache上で再帰的に圧縮されたキーサマリーのツリーを構築する。これにより、将来のクエリはツリーを上から下へ辿り、キーのスパースなサブセットを取得することが可能になる。ルーティングと最終的なアテンションを含む総コストは、ツリーの深さを反復的に増やすことでシーケンス長に対し準線形に成長し、アテンションの全体的なスケーリングは準二次的（ただし超線形）となる。
この手法は、既存の事前学習済みモデルに少ないKL distillationトレーニングのみで適用でき、長文コンテキスト検索や、推論、数学、エージェント的コーディングといった評価タスクで性能を維持することが示されている。ZHAは最大6レベルの非常に深いツリーを含むツリー形状に対しても高い堅牢性を持つ。
詳細な性能モデルにより、同手法が100万を超えるコンテキストにおいて競合する手法を大幅に上回り、有効なコンテキストウィンドウを数億から数十億トークンに拡張する可能性を秘めていることが示されている。
参考: arXiv cs.CL (アーカイブ) — 2026年10月31日 02:48 (JST)
この記事をシェア