The Intern-NCP Teamは2026年9月10日(現地時間)、次トークン予測 (NTP) を超える次概念予測 (NCP) を導入した潜在空間言語モデル「NCP-ArchPreview」に関する技術報告書をarXivで公開した。このモデルは8.9億パラメータを持ち、Dolma-3データセットの5.73兆トークンで訓練され、OLMo-3-7Bの最終事前学習損失を51.3%の訓練トークン消費で達成。ダウンストリームマクロ平均で2.45ポイント、GSM8Kで5.99ポイントの性能向上を示した。
NCP-ArchPreviewは、標準的な次トークン予測 (NTP) に加え、Next Concept Prediction (NCP) を通じて学習する潜在空間言語モデルである。NCPは複数のトークンにわたる離散的な概念を予測することで、概念レベルの明確かつより挑戦的な目標を導入しつつ、トークンレベルの自己回帰型生成を維持する。
モデルは、隠れ状態から直接、積量化された概念語彙を構築して潜在空間を形成し、専用のConcept Moduleを通じて将来の概念を予測する。予測された概念は、その後の生成をガイドするためにトークンレベルにフィードバックされ、NTPとNCPはエンドツーエンドで共同で訓練される。
NCP-ArchPreviewは8.9Bパラメータに拡張され、Dolma-3データセットから5.73Tトークンを用いて訓練された。これは現在までの潜在空間言語モデルの最大規模を示す。注目すべきは、総訓練トークンのわずか51.3%を消費するだけで、OLMo-3-7Bの最終事前学習損失を達成した点である。完全な事前学習後、NCP-ArchPreviewはダウンストリームマクロ平均でOLMo-3-7Bを2.45ポイント上回り、特にGSM8Kでは5.99ポイントの顕著な改善を記録した。さらに、標準的な計算量の85%を利用するだけで、厳密にパラメータが一致する8.9Bベースラインの訓練損失に近づいている。
学習された潜在空間は、事前学習後も高い価値を保持する。17MパラメータのVQモジュールを更新するだけで、ドメイン適応のための新たな軽量インターフェースが提供される。また、DFlash2 drafterに概念表現を単純に注入することで、平均受理長が4.17%改善し、オーバーヘッドは無視できるレベルだった。
参考: arXiv cs.CL (アーカイブ) — 2026年9月11日 13:00 (JST)
原文ハイライト"NCP-ArchPreview achieves the final pretraining loss of OLMo-3-7B."