Tag
11 件の関連記事
Cohereは2026年6月12日(現地時間)、開発者向けのオープンウェイトモデル「North Mini Code」をリリースした。このモデルは300億パラメーターの「mixture-of-experts (MoE)」であり、ルーティング機能により推論時には30億パラメーターで動作する。4ビット量子化により、単一のNVIDIA H100 GPUで実行可能であり、企業の自己ホスト型コーディングパイプラインの計算コスト削減を目指す。
JetBrainsは2026年5月31日(現地時間)、自然言語とコードでゼロから学習した12BパラメータのMixture-of-Experts (MoE) モデル「Mellum2」を発表した。このモデルは、トークンごとに2.5Bのパラメータのみをアクティブにするため、高スループットかつ低レイテンシーの推論に効率的である。Apache 2.0ライセンスのもとで公開された。
NVIDIAは2026年5月31日(現地時間)、透明性、効率性、専門性を持つAIエージェントの開発を可能にするオープンモデル、データ、ライブラリの「NVIDIA Nemotron 3」ファミリーを発表した。このモデル群はNano、Super、Ultraの3サイズで提供され、ハイブリッド潜在混合エキスパート（MoE）アーキテクチャを採用している。
オープンウェイトのMellum 2 (メラム2)は5月29日(現地時間)、その言語モデルに関する技術レポートを公開した。このモデルは120億パラメータのMixture-of-Experts (MoE)モデルであり、トークンあたり25億のアクティブパラメータを持つ。Mellum 2はソフトウェアエンジニアリングに特化した汎用言語モデルとして設計され、コード生成・編集、デバッグ、多段階推論、ツール利用と関数呼び出し、エージェントコーディング、対話型プログラミング支援といった幅広い領域をカバーする。
Cohereは2026年5月20日(現地時間)、オープンソースのMixture-of-Experts (MoE) モデル「Command A+」をApache 2.0ライセンスでリリースしたと発表しました。このモデルは、主権AIおよびクリティカルインフラ向けに特別に構築され、企業や公共部門の組織に対し、AIを大規模に展開する上で必要とされる透明性、制御、効率性を提供します。完全なオープンウェイトモデルとして、VPC、オンプレミス、または完全にエアギャップされた環境での展開が可能であり、データ主権を確保します。
Cohereは2026年5月20日(現地時間)、企業向けに設計された大規模言語モデル「Command A+」をApache 2.0ライセンスのもと、オープンソースとして公開した。このmixture-of-experts (MoE) アーキテクチャを採用したモデルは、複雑な推論、マルチモーダル処理、多言語エージェントタスクに対応する。開発者がエンタープライズグレードのエージェント機能を直接利用できるよう、Hugging Faceを通じてモデルの重みが提供され、専用のマネージド推論環境であるModel Vaultでのデプロイも可能。前世代モデルを上回る性能向上と効率性を両立している。
arXiv cs.LGは5月11日(現地時間)、Chenyang Song氏らの研究チームが開発した「DECO」を報じた。これはエンドデバイス向けSparse Mixture-of-Experts (MoE) アーキテクチャで、MoEモデルが抱えるストレージやメモリアクセスボトルネックの解消を目指す。DECOは高パフォーマンス、低計算コスト、小さなストレージオーバーヘッドを同時に実現し、限られたリソースのエッジAI環境での高速化に貢献するとされる。報告によると、Dense Transformerと同等の性能を維持しつつ、最大3.00倍の高速化を達成。この技術はAI実用化を加速する上で重要な一歩とみられる。
Allen Institute for AIは2026年5月8日(現地時間)、人間が定義した事前知識に頼らず、データから直接モジュール構造が創発するよう事前学習された新しい専門家混合 (MoE) モデル「EMO」を公開した。EMOは、特定のタスクにおいて総専門家のわずか12.5%を使用するだけでほぼフルモデルの性能を維持できる。同時に、全専門家を使用する際には強力な汎用モデルとしても機能する。
Zyphraは2026年5月7日(現地時間)、推論に特化した混合エキスパートモデル (MoE)「ZAYA1-8B」の技術レポートを発表した。同モデルは7億のアクティブパラメーターと80億の総パラメーターで構成され、ZyphraのMoE++アーキテクチャを基盤としている。AMDのコンピューティングプラットフォームで訓練され、10億未満のアクティブパラメーターながら、数学やコーディングのベンチマークでDeepSeek-R1-0528を上回る、または同等の性能を示したと報告されている。
arXiv cs.LGは2026年5月7日(現地時間)、Minbin Huang氏らがMixture-of-Experts (MoE) アーキテクチャの新しい設計「UniPool」を提案したと報じた。UniPoolは、従来層ごとに独立していたエキスパートセットをグローバルな共有プールとして扱い、各層のルーターからアクセスさせる構造を持つ。この設計変更により、LLaMAアーキテクチャの多様なモデルスケールにおいて、既存のMoEと比較して検証損失とパープレキシティの改善が確認された。
論文公開サイトarXiv cs.CLが2026年5月7日(現地時間)付けで報じたところによると、大規模言語モデル (Large language models) のモジュール性を高める新しいMixture-of-Experts (MoE) モデル「EMO」が発表された。EMOは、事前学習中に文書の境界のみを用いて、人間の定義する事前知識なしで首尾一貫した専門家グループを形成する。これにより、メモリ制約のある環境での大規模疎モデルの実用性が向上する可能性が示されている。