huggingface.coは2026年11月6日(現地時間)、新しい線形アテンション手法「ミュア (Muir)」を発表しました。この手法は、感度配分型ゲーティングや整合フィルタによる読み出しを共同設計することで、長文処理における効率を高め、モデルの学習速度を向上させることが報告されています。
ミュア (Muir) の開発論文では、特に長文処理と学習速度において複数の性能向上がもたらされると詳述されています。
具体的には、感度配分型低ランクゲーティングの採用により、同一パラメータ数でフィードフォワードネットワーク (FFN) の広帯域化が30.4%向上しました。この技術はモデルのデータ処理能力と表現力を高めることに寄与します。また、整合フィルタによる読み出しを導入することで、100倍遅いチャネルで発生する「グレア」と呼ばれるノイズを効果的に修正し、1.34Bパラメータモデルにおける5ホップ変数トラッキングの根の保持率を19.6ポイント改善することに成功しました。これらの改善により、ミュアは166Mから1.34Bまでの広範なモデルサイズでパープレキシティの低下を示し、10Mトークンをわずか25MBの定数状態メモリでストリーミング処理できる能力を持つことが実証されています。
さらに、ミュアは学習効率においても進展を見せています。32Kコンテキストを用いた評価では、スプラッシュアテンション (Splash Attention) と比較して2.7倍速い学習速度を達成しました。加えて、静的読み出しを用いることで、1Mパスキー保持能力において99.4%という高い精度を維持できることが確認されています。これらの技術革新は、大規模言語モデルの効率的な開発に貢献する可能性が示されています。
参考: huggingface.co — 2026年11月6日 15:23 (JST)