EMO: 事前学習でモジュール性が創発するMoEモデル発表
Allen Institute for AIは2026年5月8日(現地時間)、人間が定義した事前知識に頼らず、データから直接モジュール構造が創発するよう事前学習された新しい専門家混合 (MoE) モデル「EMO」を公開した。EMOは、特定のタスクにおいて総専門家のわずか12.5%を使用するだけでほぼフルモデルの性能を維持できる。同時に、全専門家を使用する際には強力な汎用モデルとしても機能する。
Tag
#EMO
2 件の関連記事
Tag
2 件の関連記事
Allen Institute for AIは2026年5月8日(現地時間)、人間が定義した事前知識に頼らず、データから直接モジュール構造が創発するよう事前学習された新しい専門家混合 (MoE) モデル「EMO」を公開した。EMOは、特定のタスクにおいて総専門家のわずか12.5%を使用するだけでほぼフルモデルの性能を維持できる。同時に、全専門家を使用する際には強力な汎用モデルとしても機能する。
論文公開サイトarXiv cs.CLが2026年5月7日(現地時間)付けで報じたところによると、大規模言語モデル (Large language models) のモジュール性を高める新しいMixture-of-Experts (MoE) モデル「EMO」が発表された。EMOは、事前学習中に文書の境界のみを用いて、人間の定義する事前知識なしで首尾一貫した専門家グループを形成する。これにより、メモリ制約のある環境での大規模疎モデルの実用性が向上する可能性が示されている。