arXiv、新拡散言語モデル「ELF」発表 連続埋め込み空間で高精度生成
学術論文公開サイトarXivは5月11日(現地時間)、新しい拡散言語モデル (DLM) 「Embedded Language Flows (ELF)」を提案する論文を公開した。ELFは、画像や動画などの連続データ生成で主流の拡散モデルを言語モデリングに応用する。最終ステップまで連続埋め込み空間に留まり、共有重みネットワークを用いて離散トークンにマッピングする点を特徴だ。実験では、既存の主要な離散および連続DLMを大幅に上回り、少ないサンプリングステップで優れた生成品質を達成したことが示されている。