arXivは2026年11月12日(現地時間)、米研究者Zeyuan Allen-Zhu氏らによる大規模言語モデル(LLM)新手法「Canon layers」の論文を公開した。1.3Bから8Bパラメータ規模のTransformerに1兆から2兆のNemotron-CCトークンを用いて事前学習した結果、同一のMMLU精度を保ちながら事前学習トークンを約30%削減できると示した。一方、高ベンチマーク得点のモデルでも基本的な文脈内推論には課題が残ると指摘した。

研究チームはZeyuan Allen-Zhu氏らで構成され、1.3Bから8Bパラメータ規模のTransformerと3種類の線形モデルファミリーを対象に、1兆から2兆のNemotron-CCトークンを用いた事前学習を計64回実施した。8Bモデルの事前学習1回あたりの費用は約10万米ドルに上ったという。1.3Bパラメータ・100Bトークン規模の学術的な事前学習ではアーキテクチャ間の差はほとんど見られなかったが、1兆から2兆トークン規模まで拡大すると、その差が明確に測定可能になったとしている。

研究では、局所的なトークンミキシングを加える「Canon layers」を導入し、Transformerの性能を一貫して改善できることを確認した。8Bモデルでは、この層の追加によって同一のMMLU精度を保ちながら事前学習トークンを約30%削減できたという。研究チームはさらに、gated linear attentionを改善した「GLA5」と、低ランク出力ゲートを備えたGated DeltaNetを改善した「GDN2」も導入した。Canon層を適用した結果、最も単純な線形モデルであるgated linear attentionがGated DeltaNetと同水準に達し、8Bパラメータ・1兆トークン規模でもMamba2を上回ったとしている。これは、Gated DeltaNetやMamba2が備える追加的な機構が、隣接トークンの混合以上の役割をほとんど果たしていない可能性を示している。

一方で、8Bパラメータ・1兆トークン規模においても、標準ベンチマークでの高得点が基本的な文脈内スキルの弱点を隠してしまう可能性があると指摘した。標準ベンチマークでTransformerと同等以上の性能を示す線形モデルであっても、500トークンという短いコンテキストからの情報検索を確実には行えないという。加えて、Transformerと線形モデルのいずれも、この規模であっても、数文で記述された最も単純な2ホップ質問においてランダムな推測を確実に上回ることはなかった。

研究チームは、こうした結果が主に標準ベンチマークのスコアに依拠してきた従来のアーキテクチャ研究に疑問を投げかけるものだとした。小規模な合成環境を用いることで、ベンチマークでは見落とされがちな弱点を明らかにできるとし、実務家に対しては事前学習データの初期段階から文脈内推論の例を含めるべきだと提言した。


参考: arXiv cs.CL (アーカイブ) — 2026年11月20日 14:00 (JST)

この記事をシェア
X はてブ LinkedIn