Jiyan He氏らの研究チームは2026年9月11日(現地時間)、完全にオープンで極めて効率的な70億パラメータの基盤モデル「ZGCM-1 (ジーシーエムワン)」を発表した。ZGCM-1は数学的推論とエージェント検索能力に特化しており、コンパクトなモデルながら内部思考と外部ツール利用を組み合わせることで、従来のパラメトリック容量の限界を克服することを目指す。開発プロセスや成果の詳細が公開されている。
ZGCM-1は、データ、システム、アルゴリズムの極めて高い効率性を追求し、ゼロから学習された基盤モデルとして開発された。256Kのコンテキストをサポートするため、高効率なエンドツーエンドのオープン学習レシピが特別に設計されている。
この学習レシピには、アーキテクチャとシステムの協調設計として、ゲート付きスライディングウィンドウとフルアテンションのインターリーブ手法、および安定したFP8 Muon (エフピーエイト・ミューオン) オプティマイザが組み込まれている。さらに、プログレッシブカリキュラム (progressive curriculum) とマルコフ決定プロセス (Markov Decision Process, MDP) 中間学習として、16K、64K、256Kにわたるコンテキストスケーリングが段階的に導入され、相互作用トレースをマルコフ決定プロセスへと再構築する独創的な手法が用いられている。
研究チームは、開発プロセスにおいてエーアイネイティブ (AI-native) な研究開発 (R&D) ワークフローを確立した。これにより、エージェントスワーム (agent swarm) がクラスター運用、データキュレーション、迅速な診断評価といったタスクを自律的に管理し、効率的な開発サイクルを実現している。広範な評価の結果、ZGCM-1-7B (ジーシーエムワン・セブンビー) は一般的なベンチマークにおいて、7Bモデルファミリー全体で優れた競争力を示すことが確認された。特に困難な数学的推論およびエージェント検索スイートでは、Qwen3-235B-A22B (クウェンスリー・ニーサンゴビー・エーニーニービー) やGLM-5.1 (ジーエルエムファイブワン) といった、はるかに大規模なフロンティアモデルと同等の競争力を維持している。
また、ZGCM-1の事前学習設計は、16Kの事前学習におけるtime-to-lossで約4.2倍もの効率改善を提供することが実証された。これは、学習コストと時間の劇的な削減に貢献する。開発ライフサイクル全体を通して、研究チームは、アーキテクチャル・スケーリング (architectural scaling)、SFT品質プルーニング (SFT quality pruning)、ロングコンテキスト・ジェネラリゼーション (long-context generalization)、エージェント・コーラーニング・ダイナミクス (agent co-learning dynamics) にわたる8つの重要な実証的知見を抽出した。コミュニティの研究を促進するため、事前学習、中間学習、事後学習の各段階におけるモデルウェイト、中間チェックポイント、学習コード、各段階のデータとそのレシピ、さらにはW&B logs (ダブリューアンドビー・ログズ) が全てオープンソースとして公開されている。
参考: arXiv cs.AI (アーカイブ) — 2026年9月15日 13:00 (JST)