EMO: 事前学習でモジュール性が創発するMoEモデル発表
Allen Institute for AIは2026年5月8日(現地時間)、人間が定義した事前知識に頼らず、データから直接モジュール構造が創発するよう事前学習された新しい専門家混合 (MoE) モデル「EMO」を公開した。EMOは、特定のタスクにおいて総専門家のわずか12.5%を使用するだけでほぼフルモデルの性能を維持できる。同時に、全専門家を使用する際には強力な汎用モデルとしても機能する。
Tag
#MoE
3 件の関連記事
Zyphra、80億パラメーターMoEモデル「ZAYA1-8B」を発表 推論能力を強化
Zyphraは2026年5月7日(現地時間)、推論に特化した混合エキスパートモデル (MoE)「ZAYA1-8B」の技術レポートを発表した。同モデルは7億のアクティブパラメーターと80億の総パラメーターで構成され、ZyphraのMoE++アーキテクチャを基盤としている。AMDのコンピューティングプラットフォームで訓練され、10億未満のアクティブパラメーターながら、数学やコーディングのベンチマークでDeepSeek-R1-0528を上回る、または同等の性能を示したと報告されている。
MoE向け新アーキテクチャ「UniPool」、グローバル共有エキスパートプール導入
arXiv cs.LGは2026年5月7日(現地時間)、Minbin Huang氏らがMixture-of-Experts (MoE) アーキテクチャの新しい設計「UniPool」を提案したと報じた。UniPoolは、従来層ごとに独立していたエキスパートセットをグローバルな共有プールとして扱い、各層のルーターからアクセスさせる構造を持つ。この設計変更により、LLaMAアーキテクチャの多様なモデルスケールにおいて、既存のMoEと比較して検証損失とパープレキシティの改善が確認された。