arXivは2026年10月7日(現地時間)、新たな言語モデルアーキテクチャ「OpenESM: Energy-Steered Models Are Scalable Foundation Learners」に関する研究論文を公開した。同論文は、エネルギー誘導モデル（ESMs）が大規模事前学習と汎用的な問題解決において有望な特性を持つことを報告している。多くのダウンストリームタスクで従来のGPTを上回る性能を示したという。
エネルギーベースモデルはこれまでドメイン固有のタスクにおいてその有望性を示してきましたが、汎用的なシナリオでのモデリングには課題が残されていました。このギャップに対処するため、研究者らは基盤的な言語モデリングを目的としたエネルギー誘導モデル（ESMs）を設計しました。
ESMsは、エネルギー誘導（energy steering）とトークン生成（token generation）のプロセスを単一のアーキテクチャ内に統合する方式を採用しています。これにより、エネルギーガイド探索を活用してトークン生成の質を洗練させます。具体的なメカニズムとしては、まずエネルギーランドスケープ上で潜在状態を最適化し、その後、この最適化された潜在状態をトークン生成へと利用します。大規模なコーパスを用いたエネルギーガイド事前学習により、好ましいトークンが低いエネルギー値に対応する、効率的なエネルギーランドスケープが学習される仕組みです。
ESMsのスケーリング挙動を詳細に検証するため、研究チームは3つの大規模コーパスで事前学習を実施しました。その後、広範なドメインにわたる26のダウンストリームタスクにおいて性能評価を行いました。その結果、ESMsはモデルサイズおよび学習データの増加に伴って有望なスケーリング挙動を示し、評価されたほとんどのダウンストリームタスクにおいて、既存のGPTモデルを上回る性能を発揮したと報告されています。
これらの発見は、ESMsが大規模な事前学習と汎用的な問題解決のための、有望なアーキテクチャとなり得ることを示唆しています。研究チームは、コミュニティがこれらの結果を完全に再現し、さらなる拡張を行えるように、モデルウェイトと学習インフラを全面的に公開しています。論文の著者には、ユアン・プー (Yuan Pu)、ユードン・ルー (Yudong Lu)、ティング・ワン (Ting Wang)、ジーコン・ホン (Zhicong Hong)、チヌオ・リー (Qinuo Li)、シュアンシェン・ウー (Xuansheng Wu)、ナ・ゾウ (Na Zou)、シア・フー (Xia Hu)、グアンチュ・ワン (Guanchu Wang) の名が記されています。
参考: arXiv cs.CL (アーカイブ) — 2026年10月27日 13:00 (JST)
原文ハイライト"Energy-Steered Models Are Scalable Foundation Learners"