Tag
4 件の関連記事
arXiv cs.CLは2026年9月8日(現地時間)、Narges Mokhtari (ナルゲス・モクタリ)氏らの研究論文「Manifold Projection and Iterative Autoencoder Refinement for Masked Language Modeling」を公開した。同論文は、Transformer（トランスフォーマー）ベースのマスク言語モデルにおいて、Attention（アテンション）メカニズムに代わる、低ランクボトルネックオートエンコーダを用いたデータミキシング手法を提案している。
ズイウェイ・リー (Zhiwei Li)氏らは9月11日(現地時間)、事前学習済みTransformerの累積Attention（アテンション）コストを削減する新たなスパースAttentionメカニズム「SAS (Simple Attention Sparsification)」を提案した。これは、同日付けでarXiv cs.CLに掲載された論文で報告されたもの。既存手法が抱えていたコンテキストランキングと予測への影響の不整合を解消し、言語モデリングロスとのエンドツーエンド最適化を実現することで、計算効率と性能の向上を図る。
Together AIは2026年6月1日(現地時間)、MiniMaxの最新モデルM3について、同社がプリファードクラウドパートナーとして効率的な推論を実現したと発表した。同社の推論およびカーネルチームは、KV-Block-Major sparse attention kernelなどの主要な最適化により、異なる同時実行レベルで81%から125%のスループット向上を達成した。MiniMax M3はオープンウェイトモデルとして公開後、Together AIが開発者向けエンドポイントとしてホストする。
Yuxiang Huang氏ら研究者グループは2026年5月18日(現地時間)、Differentiable and Adaptive Sparse Hierarchical Attention (DashAttention) と呼ばれる新たな階層型Attention手法を提案した。これは大規模言語モデル (LLMs) における長文コンテキスト処理の効率と精度を飛躍的に高めることを目指す。従来の階層型Attentionが抱えるトップk選択による勾配フロー阻害の課題を解決し、スパースステージとデンスステージ間の滑らかな勾配伝播を可能にする。これにより、LLMの長文モデリング能力の向上と、計算効率の大幅な改善が期待される。