Shangheng Du氏らは10月15日(現地時間)、大規模言語モデルを基盤とし、自律的な機械学習エンジニアリング (MLE) を可能にする汎用エージェントモデル「MLExpert」を提案した。arXiv cs.AIで公開された論文によると、35億パラメータのMixture-of-Expertsモデルは、再帰的自己改善を通じてAIシステム自体の開発・改善に貢献する。
MLExpertは、自律的で長期的な機械学習エンジニアリング最適化のための後学習手法を適用して訓練された。研究チームは、実行可能なタスク構築のためにKaggle-MLE Factoryを設計し、モデル指向の実験にはインタラクションハーネスを活用している。階層的なエージェントベースの教師ありファインチューニング（SFT）は、結果に基づいた教師付けを通じて、汎用的なツール使用能力とコーディング能力をMLEに転移させることを目指す。
このモデルは、Windowed Interaction RL (WIRL)と呼ばれる独自の手法を採用している。WIRLは、連続する実験結果の間で複数回の決定を一つの実行ウィンドウとして扱い、そこから得られる共有された結果ベースの報酬を割り当てる。これにより、非同期でのデータ収集とポリシー修正が可能となり、軌道が終了する前にポリシーを更新する柔軟な学習プロセスをサポートする。
「MLE-Bench Lite」での評価において、MLExpertはベースモデルの平均メダル獲得率を37.9%から72.7%へと大幅に向上させた。これは、Kimi-K3やGLM-5.3といったより大規模なフロンティアモデルに匹敵する性能を示している。さらに、研究チームが行った追加実験では、MLExpertがNatureBench Lite、エージェントスキャフォールド最適化、アルゴリズム最適化といった多様なタスクにおいても性能改善を達成できることが示された。この結果は、MLExpertによって学習された最適化能力が、特定のタスクに限定されず、他のさまざまな機械学習エンジニアリングの課題にも一般化して適用できる可能性を示唆している。
参考: arXiv cs.AI — 2026年10月16日 02:56 (JST)
原文ハイライト"Towards a Generalist Agentic Model for Autonomous Machine Learning Engineering"