Appleは2026年11月9日(現地時間)、機械学習研究ページでState Space Models (SSMs) におけるゲーティングメカニズムの役割に関する研究成果を発表した。この研究は、SSMsがTransformerモデルの代替として注目される一方で、in-context learningや正確な情報検索においてTransformerに劣る原因をゲーティングメカニズムが説明することを示している。
State Space Models (SSMs) は、シーケンスモデリングにおいて一定のメモリと線形の計算量を特徴とするTransformerに代わるモデルとして登場した。しかし、SSMsはin-context learningや正確な情報検索を必要とするタスクにおいて、Transformerに依然として遅れをとっており、大規模な言語モデリングへの採用を妨げる要因となっていた。
Appleの研究チームは、理論と実験を通じて、ゲーティングメカニズムがSSMsの成功と失敗の両方に影響を与えることを実証した。このメカニズムは、SSMsがまずin-weightsの「memorization」ソリューションを学習させ、in-context learningソリューションへの収束を遅らせるか、あるいは完全に妨げる場合があるという。これはアーキテクチャやメモリ容量に根本的な制限がない場合でも発生するとしている。
一方で、ゲーティングはしばしば、長尺シーケンスに対する汎化能力の向上に寄与することも判明した。今回の研究結果は、SSMsの訓練ダイナミクスと汎化の両方を形成する上でゲーティングメカニズムが決定的な役割を果たすことを明らかにし、線形時間モデルの理解と改善のための基礎を提供する。
参考: Apple ML Research (アーカイブ) — 2026年11月10日 09:00 (JST)
原文ハイライト"this gating mechanism causes SSMs to first learn an in-weights “memorization” solution"