論文公開プラットフォームarXivのcs.LGカテゴリは2026年11月16日(現地時間)、「Latent Lattice Language Models」と題する研究論文を公開した。同論文は、言語モデルの計算能力を高める新しいアプローチ「Lattice of Latents」を導入している。これは、モデルが維持するアクティブな計算状態の数を増加させることに焦点を当てており、既存のTransformerモデルにおける検証パープレキシティの改善を示している。
言語モデルの計算能力向上を目指すこの研究は、深い層やループ状の層、潜在的な推論ステップを通じてトークンごとの計算を増やす従来の手法や、豊富なレジデュアル接続で情報フローを改善する手法とは異なるアプローチを提案している。Lattice of Latentsは、深さ方向に流れる垂直レジデュアルストリームと並行して、時系列で再帰的に実行される層ごとの水平ラテントストリームで構成される。
これらのラテントは、垂直ストリームのattention、KV-cache(キーバリューキャッシュ)の書き込み、MLP(多層パーセプトロン)計算、およびデコーディングを直接的に条件付ける。200億個のFineWeb-Eduトークンで訓練されたTransformerを用いた評価では、4億600万パラメータのLatticeモデルが、パラメータ数が同等のTransformerと比較して、検証パープレキシティを15.41から14.40に低下させた。
さらに、既存のレジデュアルストリーム強化技術であるハイパーコネクションや入力レジデュアルと組み合わせることで、LatticeモデルはベースTransformerの15.41から、また同じ強化を施したTransformerの14.22から、パープレキシティを13.61まで引き下げた。Gated DeltaNet、Mamba-2、Triadic GDN、およびGDN-Mamba-2ハイブリッドといった他のアーキテクチャにおいてもパープレキシティの改善が確認されており、Lattice-GDNやLattice-Triadic-GDNといったバリアントは、4倍大きいネイティブ状態を持つ純粋なベースラインを上回る結果を示している。これらの結果は、層ごとの永続的な状態が言語モデル計算のスケーリングにおいて補完的な軸となることを示している。
参考: arXiv cs.LG — 2026年11月17日 03:59 (JST)
原文ハイライト"it provides companion computational states that persist across tokens."