DashAttention、LLM向け長文コンテキスト処理の新手法を提案
Yuxiang Huang氏ら研究者グループは2026年5月18日(現地時間)、Differentiable and Adaptive Sparse Hierarchical Attention (DashAttention) と呼ばれる新たな階層型Attention手法を提案した。これは大規模言語モデル (LLMs) における長文コンテキスト処理の効率と精度を飛躍的に高めることを目指す。従来の階層型Attentionが抱えるトップk選択による勾配フロー阻害の課題を解決し、スパースステージとデンスステージ間の滑らかな勾配伝播を可能にする。これにより、LLMの長文モデリング能力の向上と、計算効率の大幅な改善が期待される。