ホンイ・ヘ (Hongyi He) 氏らの研究チームは9月11日(現地時間)、オンライン学術誌arXiv cs.CLで公開された論文で、大規模言語モデル (large language models) の後学習で用いられる強化学習 (RL) のMoE (Mixture-of-Experts) モデル向けに、Expert-Space Exploration Reinforcement Learning (ESRL) と呼ばれる新たなフレームワークを提案した。ESRLは、MoEモデルのエキスパートルーティング空間を明示的に探索することで、既存手法が抱える課題に対応する。
RLは、大規模言語モデルの後学習において中心的な役割を果たす技術である。近年、MoEモデル向けRLに関する研究は、主に最適化の安定性や訓練効率の向上に焦点を当てており、エキスパートの選択を固定的な要素として扱う傾向があった。
論文によると、ルーティングは出力分布を誘導するスパースな計算パスを決定するため、エキスパートの選択がロールアウトの多様性に追加の源泉を提供すると指摘されている。実証分析の結果、エキスパートルーティングを摂動させることで、モデルの出力が効果的に変化し、ロールアウトの多様性が増加することが判明した。これは、デコーディング温度を上げる効果に類似する。しかし、直接的な摂動は不適切なエキスパートを活性化させ、ロールアウトの品質を著しく低下させる可能性があることが明らかになった。
これらの観察に基づき提案されたESRLは、MoEモデルのエキスパートルーティング空間を明示的に探索する、アーキテクチャ認識型のフレームワークである。ESRLは、信頼度の高いエキスパートをアンカーとして保持し、確率的ルーティングを妥当な候補プールに制限することで、信頼性の高い計算パスを維持する。摂動強度は、ルーターのエントロピーに応じて動的に調整され、過度な摂動が回避される設計だ。さらに、摂動によって生じるルーティングミスマッチを軽減するため、ESRLはロールアウト中に使用されたエキスパートパスを記録し、ポリシー最適化中にそれらをリプレイするメカニズムを備えている。
実験では、ESRLがtop-K、top-1、および共有エキスパートルーティングを持つMoEバックボーンを用いて、数学、科学、コードタスクにおいて、追加のサンプリングや計算コストなしに最高の性能を達成した。特に、Qwen3-30B-A3B上のESRLは、比較されたすべての手法の中で最高の性能を示し、GRPOと比較して平均Pass@1を3.2パーセンテージポイント、Pass@8を4.5パーセンテージポイント改善した。研究チームは、エキスパート利用と訓練ダイナミクスに関する詳細な分析を通じて、MoE特有のルーティング構造を利用することがRL訓練にどのように利益をもたらすかについて、具体的な洞察を提供したと述べている。
参考: arXiv cs.CL (アーカイブ) — 2026年9月12日 01:58 (JST)
原文ハイライト"perturbing expert routing effectively alters model output and increases rollout diversity"