ユークスアン・フー (Yuxuan Hu) 氏らの研究チームは2026年11月9日(現地時間)、大規模言語モデル (LLM) を基盤とする汎用自動機械学習 (AutoML) フレームワークを提案した。このフレームワークは、モデルアーキテクチャ、訓練ハイパーパラメータ、データ比率といった多様な設定を、タスク固有のファインチューニングを不要とし、初めて共同で最適化する。研究チームは「NCode」と称する統一された数値エンコーディングスキームを導入し、最適化プロセスを統一的なランキングタスクとして再構築する。
提案されたLLMベースの検索器は、限定された単一ドメインの視覚タスクのみで訓練されたにもかかわらず、優れたクロス-タスク、クロス-モダリティ、および共同検索空間最適化の汎化能力を示している。画像分類、画像セグメンテーション、話者検証、テキスト-画像ベンチマークにおいて、最先端の性能を達成したと報告されている。
特に、10億パラメータを有するDiffusion Transformerの大規模訓練と共同最適化において、そのスケーラビリティが際立つ。この最適化には896 GPU-daysを要し、GenEvalスコアで0.91という最先端の結果を記録した。
さらに研究チームは、強化学習を用いてChain-of-Thought推論を組み込むことで、LLMベース検索器の内部意思決定メカニズムを解釈する体系的な手法も提供している。これにより、最適化戦略が初期段階の多様性駆動探索から、後期段階のアンカー活用へと移行する傾向が明らかになった。このフレームワークは、汎用オープンワールド機械学習最適化に向けた、スケーラブルで汎用性が高く、かつ解釈可能な道筋を提供すると結論付けられている。
参考: arXiv cs.CL (アーカイブ) — 2026年11月10日 02:58 (JST)
原文ハイライト"a universal, large language model (LLM)-based AutoML framework that jointly optimizes these configurations"