Canon layers導入でLLM事前学習トークン30%減、米研究チーム発表
arXivは2026年11月12日(現地時間)、米研究者Zeyuan Allen-Zhu氏らによる大規模言語モデル(LLM)新手法「Canon layers」の論文を公開した。1.3Bから8Bパラメータ規模のTransformerに1兆から2兆のNemotron-CCトークンを用いて事前学習した結果、同一のMMLU精度を保ちながら事前学習トークンを約30%削減できると示した。一方、高ベンチマーク得点のモデルでも基本的な文脈内推論には課題が残ると指摘した。