Guoxin Chen氏らは2026年11月19日(現地時間)に公開された論文で、大規模言語モデル(LLM)の訓練後学習を自律的に強化するシステム「AutoMaster」を発表した。タスクの成功のみでは望ましい行動が指定されないという課題に対し、Skill-FT (Skill-Guided Fine-Tuning)という手法を導入。自然言語スキルを用いて望ましくない習慣を抑制し、効果的な行動を引き出すことで、モデルをより優れた教師にすることを目的とする。
この研究では、教師モデルが生成する軌跡(trajectories)に含まれる根拠のない仮定、非生産的な繰り返し、表面的な検証といった問題に対処する。提案されたSkill-FTは、教師ロールアウト中に自然言語スキルを活用して、これら望ましくない行動を抑制し、潜在的に効果的な行動を引き出す。そして、その結果得られた軌跡を基にターゲットモデルをファインチューニングする仕組みである。
AutoMasterは、LLM agentが軌跡分析、スキル設計、データ選択、ロールアウトからのフィードバック、およびターゲットモデル評価を通じてこれらの介入を自律的に開発するシステムとして機能する。Terminal、Search、ソフトウェアエンジニアリングといった異なるタスクにおいて、4Bおよび9Bのターゲットモデルを用いた評価では、AutoMasterがVanilla SFT(Supervised Fine-Tuning)と比較して平均性能を1.42〜8.99パーセンテージポイント向上させることが確認された。この改善は、教師モデル、タスクプール、訓練セットサイズ、SFTレシピが固定された条件下で達成された。
これらの結果は、行動の形成(behavioral shaping)によって、固定されたモデルがより効果的な教師になり得ることを示唆している。さらに、SFT中にスキル指示を保持することが、評価時にそれらが存在せず、監督された出力が同一であるにもかかわらず、全6つの設定でスキル指示を削除した場合よりも高い平均性能をもたらすことが判明した。これは、訓練時のデモンストレーションの一部としてスキルコンテキストを保持することが、より良い行動の内部化(behavioral internalization)を支援する可能性を示している。
参考: arXiv cs.CL (アーカイブ) — 2026年11月20日 02:57 (JST)
原文ハイライト"behavioral shaping can make a fixed model a more effective teacher."