LRMoE、メモリ制約下MoEモデルの訓練効率を向上
Jiaming Hu氏らは2026年10月27日(現地時間)、Sparse Mixture-of-Experts (MoE) モデルのトレーニングにおけるメモリ制約と計算ボトルネックを解消する新システム「LRMoE」を発表しました。このシステムは、バックワード要求の再キャリブレーションとワークロードのバランス調整を同時に行うことで、限られたGPUメモリ上での効率的なMoEトレーニングを実現します。
Tag
#MoE
33 件の関連記事
【速報】Hugging Face、マルチモーダルモデル「Mistral Large 4」を提供開始
Hugging Faceは2026年10月28日(現地時間)、Mistral製のマルチモーダル、多言語対応のMixture-of-Experts（MoE）モデル「Mistral Large 4」（通称Le Chonk）の提供を開始した。同モデルはテキストと画像をインプットとしてテキストを生成し、約1兆の総パラメータ、490億のアクティブパラメータ、1Mトークンのコンテキストウィンドウを持つ。サイバーセキュリティ、コーディングエージェント、マルチモダリティの分野で特に高い性能を発揮する。
MoEモデルのルーティング探索課題を解決するMirrorMoEを提案
Bingcong Li、Hao Ma、Michael Muehlebach、Niao He、Yi Maの各氏は2026年10月15日(現地時間)、大規模言語モデルのスケーリングに用いられるMixture-of-experts (MoE)モデルにおけるルーティング探索の課題と解決策に関する研究論文をarXivで公開した。同論文は、現代のMoEアーキテクチャで一般的に採用されている「fine-grained expert segmentation」と「shared experts」という設計選択が「探索のジレンマ」を引き起こし、MoEモデルの表現力が十分に発揮されていない可能性を指摘した。この問題に対処するため、不要なエキスパートをトークンに応じて抑制することで探索空間を縮小する新手法「MirrorMoE」を提案し、モデルの規模にかかわらず一貫した性能改善を示した。
MoE言語モデルのルーティング情報がプライバシー漏洩を招く可能性指摘
研究論文投稿サイトのarXiv (アーカイヴ)が2026年10月8日(現地時間)に公開した論文「When Routing Reveals Membership: Privacy Leakage from MoE Router Telemetry」は、Mixture-of-Experts (MoE)言語モデルが推論時に生成するルーティング情報が、モデルのファインチューニングに使用されたデータのプライバシー漏洩を引き起こす可能性を指摘した。本研究では、ルーティング情報を用いた新たなメンバーシップ推論攻撃の手法が提示されている。
DeepSeek、APIモデル運用状況を明確化 V4.1 Flashが新規統合の推奨モデルに
DeepSeekは10月6日(現地時間)、同社が提供するAPIモデルIDと各モデルファミリの運用状況に関する詳細を明確にしたとbenchlm.aiが報じた。主力モデル「deepseek-flash」がDeepSeek V4.1 Flashを提供し、新規統合の推奨モデルとなっている。一方、「deepseek-v4-pro」はDeepSeek V4 Pro 0813を提供し続けるものの、DeepSeek自身はV4.1 Flashの優位性を強調している。
【速報】Hugging Face Blog、大規模MoE向けトレーニング基盤Olmo-core 3を公開
Hugging Face Blogは2026年10月1日(現地時間)付けで、大規模Mixture-of-Experts (MoE) モデルのトレーニング向けに再設計されたオープンな基盤「Olmo-core 3」のリリースを報じた。Olmo-core 3は、MoEトレーニングを数兆パラメータ規模まで拡張しつつ、計算効率を維持するように設計されている。これはOlmoの次世代を支える中核システムの一つであり、新たなモデル開発におけるツールとトレーニングインフラをオープンにする取り組みの一環として位置づけられる。
CipherGenome、ゲノムMoEモデルのプライバシー保護推論プロトコル発表
Guang Yang氏とFengchen Liu氏の研究チームは9月26日(現地時間)、ゲノム基盤モデルにおけるプライバシー保護を目的とした新プロトコル「サイファージェノム（CipherGenome）」を発表した。Mixture-of-Experts（MoE）ネットワークの専門家重みが、シーケンスを保持するマシンに収まらない課題に対応。サイファージェノムは、15.1BパラメータのMoEモデルの95.8%を占める専門家プロジェクションを、信頼できないGPUサーバーへmodule-LWE暗号化の下でオフロードする。これにより、プライベートなゲノム情報が外部アクセラレータに送信された際、単一サーバーによる入力ヌクレオチド復元リスク（99.8%の精度）を回避する。
ゲノムMoEモデル、Webブラウザでの分散推論を可能に
arXivは2026年9月29日(現地時間)、Guang Yang氏らが、ゲノムのmixture-of-experts (MoE) モデルをウェブブラウザ上でプライベートに推論するシステム「GenomeOcean Anywhere」に関する研究論文を発表したと報じた。この研究は、個々のデバイスにプライベートなDNA配列を公開することなく、150億パラメータのゲノムMoEモデルをボランティアのウェブブラウザ上で実行する可能性を検証している。
MoE強化学習のエキスパートルーティング探索、ESRLを提案
ホンイ・ヘ (Hongyi He) 氏らの研究チームは9月11日(現地時間)、オンライン学術誌arXiv cs.CLで公開された論文で、大規模言語モデル (large language models) の後学習で用いられる強化学習 (RL) のMoE (Mixture-of-Experts) モデル向けに、Expert-Space Exploration Reinforcement Learning (ESRL) と呼ばれる新たなフレームワークを提案した。ESRLは、MoEモデルのエキスパートルーティング空間を明示的に探索することで、既存手法が抱える課題に対応する。
MoEモデル、データ繰り返しで過学習増加 研究論文が指摘
arXiv cs.LGが2026年9月10日(現地時間)付けで公開した論文が、Mixture-of-Experts (MoE) モデルが学習データの繰り返しに対して、高密度活性化Transformerモデルよりも過学習しやすいことを指摘した。人間が作成したテキストデータの供給が枯渇する中、言語モデルの学習データ繰り返しは一般的な手法となっている。この研究は、MoEの性能劣化がデータの繰り返し率に大きく依存し、その影響がスパース性と共に増加することを示している。
クウェン、マルチモーダルMoEモデル「Qwen3.8-Flash-Next」発表
Simon Willison's Weblogは2026年8月26日(現地時間)、クウェン (Qwen) が新たなオープンウェイトモデル「Qwen3.8-Flash-Next」を発表したと報じた。このモデルはマルチモーダルなMoEモデルであり、同時にQwen4で採用されるアーキテクチャの早期プレビューとしての役割を持つ。合計1250億トークン規模ながら、アクティブなトークン数は60億に抑えられており、性能向上を実現している。
MoEモデル量子化ダメージ、経路フリップの検出と修復課題を提示
パーヴェル・グー (Parvel Gu) は7月14日(現地時間)、arXiv cs.AIで論文を公開し、Mixture-of-Experts (MoE) ルーティングの不連続性が、4ビットKVキャッシュの量子化によって引き起こされる「フリップ」現象を明らかにした。このフリップはトークンを決定境界を越えさせ、エキスパートの活性化を反転させる。本研究は新たな緩和策を提案するものではなく、因果関係の解明、経験的発見、および検出限界に関する結果を提供している。
DeepSeek、主力AIモデル「V4 Pro」のプロダクション版をリリース
DeepSeekは8月12日(現地時間)、主力モデル「ディープシーク V4 Pro (DeepSeek V4 Pro)」のプロダクション版をリリースした。約4ヶ月間のプレビュー期間を経て、ビルド「V4 Pro 0813」として一般提供が開始された。OpenRouter (オープンルーター)のモデルページおよびディープシークのAPIドキュメントにて確認できる。API料金は入力トークンが100万あたり$0.435（キャッシュミス時）、出力トークンが100万あたり$0.87で、100万トークンのコンテキストウィンドウに対応する。
Alibaba Qwen、2.4兆パラメータMoEモデル「Qwen3.8-Max」発表
Alibaba Qwenは8月3日(現地時間)、総パラメータ数2.4兆の混合専門家（MoE）モデル「Qwen3.8-Max」の一般提供を開始した。本モデルはテキスト、画像、動画を入力とし、テキストを出力するマルチモーダル機能を備える。API版は即座に展開可能で、OpenAIおよびDashScopeと互換性を持つ。より小規模な「Qwen3.8-27B」と併せて、次週にはオープンウェイト版の提供も予定されている。
オープンモデルの普及加速、新興勢力と中国勢が主要モデルを発表
Interconnectsは2026年8月2日(現地時間)付けで、オープンモデルのエコシステムにおける最新動向を報じた。記事によると、強力なモデルをトレーニングする能力が急速に拡大し、多くの企業が多額の投資を行いながらも、オープンモデルを公開する組織が増加している。特にシンキング・マシーンズ (Thinking Machines) はオープンモデルの微調整サービスで年間数億ドル規模の収益を上げ、米国で最先端のオープンウェイトモデルをリリースしていると指摘した。
PagedWeight、MoE LLM推論のGPUメモリを最大72.0%削減
arXiv cs.LGは7月17日(現地時間)、Mixture-of-Experts (MoE) 大規模言語モデル (LLM) の推論効率を大幅に改善する新手法「PagedWeight」を発表した。同技術は、MoE LLM運用における主要課題である、増大するモデルウェイトとKey-Value (KV) キャッシュのGPUメモリ要件に対し、ランタイムでの動的かつ品質を意識したウェイト量子化で対処する。これにより、エキスパートウェイトの精度を維持しつつKVキャッシュサイズを最適化し、全体的なリソース効率を大幅に改善。特に、既存手法と比較してGPUメモリを最大72.0%削減し、スループットを最大1.94倍向上させることが可能と報告されている。
Moonshot AI、2.8兆パラメータのKimi K3を公開 100万トークン対応オープンMoEモデル
Moonshot AI (ムーンショットAI) は7月16日(現地時間)、2.8兆パラメータを持つオープンなMixture-of-Experts (MoE) モデル「Kimi K3 (キミ・ケイスリー)」を発表した。ネイティブなビジョン能力と100万トークンのコンテキストウィンドウを備え、同社はこれを世界初のオープン3Tクラスモデルと称している。Kimi K3は、Kimi Delta Attention (KDA) (キミ・デルタ・アテンション) とAttention Residuals (AttnRes) (アテンション・レジデュアルズ) という二つのアーキテクチャ更新に基づいて構築された。
MoEモデル推論のメモリ効率化へ、StickyMoEがエキスパート切り替えを6割削減
アリ・カイアム氏は6月12日(現地時間)、arXiv（アーカイヴ）にて、Mixture-of-Experts（MoE）モデルの推論時メモリ効率を大幅に高める新トレーニング手法「StickyMoE」に関する研究論文を発表した。この手法は、MoEモデルが連続するトークン間で頻繁にエキスパートを切り替えることで生じる、メモリ内のウェイトスワッピング問題の解消を目指す。StickyMoEは、エキスパート割り当ての一貫性を高める新たな損失関数を導入し、推論の効率化に貢献する。
Tencent、2950億パラメータの「Hy3」をApache 2.0で公開 MoE採用、利用制限撤廃へ
Tencentは7月6日(現地時間)、オープンウェイト言語モデル「Hy3」に関する詳細を公表した。Hy3は2950億パラメータを持つ大規模モデルでありながら、Mixture-of-Experts（MoE）アーキテクチャの採用により、任意のトークン処理にアクティブに稼働するパラメータを約210億に抑えている。地理的および利用制限のないApache 2.0ライセンスでの提供は、オープンモデル市場に新たな選択肢をもたらすと見られる。
Tencent、推論モデル「Hunyuan Hy3」発表 主要製品に統合へ
Tencentは7月7日(現地時間)、Mixture of Experts (MoE) アーキテクチャに基づく新たな推論モデル「Hunyuan Hy3」を発表した。同モデルは総パラメータ数2,950億、アクティブパラメータ数210億を持ち、最大256Kトークンのコンテキストウィンドウに対応。WorkBuddy/CodeBuddy、Yuanbao、Marvis、imaなどの主要製品・サービスにすでに統合されており、Tencent CloudのTokenHubプラットフォームからもAPI提供が開始される。
Mistral AI、オープンウェイトMoEモデルを7月に早期アクセス開始
Mistral AIは2026年7月6日(現地時間)、CEOのアーサー・メンシュ (Arthur Mensch) 氏が、オープンウェイトの新しいMixture-of-Experts (MoE) モデルファミリーを7月中に研究、政府、産業パートナー向けに早期アクセスを開始すると発表した。同モデルは「fat but sparse」と表現され、閉鎖型APIモデルに対する有力なオープンウェイトの選択肢として提供される見込み。具体的なパラメータ数、ベンチマーク結果、ライセンス条件、正確なリリース日は現時点では未公表である。
Tencentが大規模言語モデル「Hunyuan Hy3」を正式公開、エージェント能力を強化
Tencentは2026年7月5日(現地時間)、大規模言語モデルの最新版「Hunyuan Hy3」を正式にリリースした。このモデルは、総パラメータ数2,950億、アクティブパラメータ数210億のMixture-of-Experts (MoE) アーキテクチャに基づいて構築されており、最大256Kのコンテキスト長をサポートする。プレビュー版と比較してパフォーマンス、安定性、コスト効率が向上し、WorkBuddy/CodeBuddyやYuanbaoなど同社製品・サービスへの統合を拡大している。
Cohere、オープンウェイトの30B MoEコーディングモデル「North Mini Code」を発表
Cohereは2026年6月12日(現地時間)、開発者向けのオープンウェイトモデル「North Mini Code」をリリースした。このモデルは300億パラメーターの「mixture-of-experts (MoE)」であり、ルーティング機能により推論時には30億パラメーターで動作する。4ビット量子化により、単一のNVIDIA H100 GPUで実行可能であり、企業の自己ホスト型コーディングパイプラインの計算コスト削減を目指す。
【速報】JetBrains、12B Mixture-of-Expertsモデル「Mellum2」を発表
JetBrainsは2026年5月31日(現地時間)、自然言語とコードでゼロから学習した12BパラメータのMixture-of-Experts (MoE) モデル「Mellum2」を発表した。このモデルは、トークンごとに2.5Bのパラメータのみをアクティブにするため、高スループットかつ低レイテンシーの推論に効率的である。Apache 2.0ライセンスのもとで公開された。
【速報】NVIDIA、AIエージェント向けオープンモデル「Nemotron 3」を発表
NVIDIAは2026年5月31日(現地時間)、透明性、効率性、専門性を持つAIエージェントの開発を可能にするオープンモデル、データ、ライブラリの「NVIDIA Nemotron 3」ファミリーを発表した。このモデル群はNano、Super、Ultraの3サイズで提供され、ハイブリッド潜在混合エキスパート（MoE）アーキテクチャを採用している。
Mellum 2技術レポート公開、MoE言語モデルでソフトウェア開発に特化
オープンウェイトのMellum 2 (メラム2)は5月29日(現地時間)、その言語モデルに関する技術レポートを公開した。このモデルは120億パラメータのMixture-of-Experts (MoE)モデルであり、トークンあたり25億のアクティブパラメータを持つ。Mellum 2はソフトウェアエンジニアリングに特化した汎用言語モデルとして設計され、コード生成・編集、デバッグ、多段階推論、ツール利用と関数呼び出し、エージェントコーディング、対話型プログラミング支援といった幅広い領域をカバーする。
Cohere、Apache 2.0ライセンスのエンタープライズ向けAIモデル「Command A+」を発表
Cohereは2026年5月20日(現地時間)、オープンソースのMixture-of-Experts (MoE) モデル「Command A+」をApache 2.0ライセンスでリリースしたと発表しました。このモデルは、主権AIおよびクリティカルインフラ向けに特別に構築され、企業や公共部門の組織に対し、AIを大規模に展開する上で必要とされる透明性、制御、効率性を提供します。完全なオープンウェイトモデルとして、VPC、オンプレミス、または完全にエアギャップされた環境での展開が可能であり、データ主権を確保します。
Cohere、企業向けMoEモデル「Command A+」をApache 2.0で公開
Cohereは2026年5月20日(現地時間)、企業向けに設計された大規模言語モデル「Command A+」をApache 2.0ライセンスのもと、オープンソースとして公開した。このmixture-of-experts (MoE) アーキテクチャを採用したモデルは、複雑な推論、マルチモーダル処理、多言語エージェントタスクに対応する。開発者がエンタープライズグレードのエージェント機能を直接利用できるよう、Hugging Faceを通じてモデルの重みが提供され、専用のマネージド推論環境であるModel Vaultでのデプロイも可能。前世代モデルを上回る性能向上と効率性を両立している。
DECO、Sparse MoEで性能向上 エンドデバイスAIの計算効率改善
arXiv cs.LGは5月11日(現地時間)、Chenyang Song氏らの研究チームが開発した「DECO」を報じた。これはエンドデバイス向けSparse Mixture-of-Experts (MoE) アーキテクチャで、MoEモデルが抱えるストレージやメモリアクセスボトルネックの解消を目指す。DECOは高パフォーマンス、低計算コスト、小さなストレージオーバーヘッドを同時に実現し、限られたリソースのエッジAI環境での高速化に貢献するとされる。報告によると、Dense Transformerと同等の性能を維持しつつ、最大3.00倍の高速化を達成。この技術はAI実用化を加速する上で重要な一歩とみられる。
EMO: 事前学習でモジュール性が創発するMoEモデル発表
Allen Institute for AIは2026年5月8日(現地時間)、人間が定義した事前知識に頼らず、データから直接モジュール構造が創発するよう事前学習された新しい専門家混合 (MoE) モデル「EMO」を公開した。EMOは、特定のタスクにおいて総専門家のわずか12.5%を使用するだけでほぼフルモデルの性能を維持できる。同時に、全専門家を使用する際には強力な汎用モデルとしても機能する。
Zyphra、80億パラメーターMoEモデル「ZAYA1-8B」を発表 推論能力を強化
Zyphraは2026年5月7日(現地時間)、推論に特化した混合エキスパートモデル (MoE)「ZAYA1-8B」の技術レポートを発表した。同モデルは7億のアクティブパラメーターと80億の総パラメーターで構成され、ZyphraのMoE++アーキテクチャを基盤としている。AMDのコンピューティングプラットフォームで訓練され、10億未満のアクティブパラメーターながら、数学やコーディングのベンチマークでDeepSeek-R1-0528を上回る、または同等の性能を示したと報告されている。
MoE向け新アーキテクチャ「UniPool」、グローバル共有エキスパートプール導入
arXiv cs.LGは2026年5月7日(現地時間)、Minbin Huang氏らがMixture-of-Experts (MoE) アーキテクチャの新しい設計「UniPool」を提案したと報じた。UniPoolは、従来層ごとに独立していたエキスパートセットをグローバルな共有プールとして扱い、各層のルーターからアクセスさせる構造を持つ。この設計変更により、LLaMAアーキテクチャの多様なモデルスケールにおいて、既存のMoEと比較して検証損失とパープレキシティの改善が確認された。
EMOがモジュール性高いMoE実現 大規模モデルの選択的専門家利用に道
論文公開サイトarXiv cs.CLが2026年5月7日(現地時間)付けで報じたところによると、大規模言語モデル (Large language models) のモジュール性を高める新しいMixture-of-Experts (MoE) モデル「EMO」が発表された。EMOは、事前学習中に文書の境界のみを用いて、人間の定義する事前知識なしで首尾一貫した専門家グループを形成する。これにより、メモリ制約のある環境での大規模疎モデルの実用性が向上する可能性が示されている。