シユアン・ファン (Siyuan Huang) 氏ら13名の研究者は7月24日(現地時間)、大規模言語モデル (LLM) の能力を自己進化的に拡張する新たなフレームワーク「Skill Self-Play (Skill-SP)」を提唱する論文をarXivで公開した。このフレームワークは、既存の自己進化手法が抱えるタスク多様性と検証信頼性に関する課題に対し、エージェントのスキルを強力な中間点として活用する。提案者、解決者、動的スキルコントローラーから構成され、強化学習ループを通じた自己対戦プロセスでスキルを共進化させることで、このジレンマを解決するとされる。
Skill Self-Play (Skill-SP) は、プロポーザー (提案者)、ソルバー (解決者)、ダイナミック・スキル・コントローラー (動的スキルコントローラー) の3つのコンポーネントで構成される共進化フレームワークである。
プロポーザーは、動的にサンプリングされたスキルに基づき、挑戦的なタスクを生成する。ソルバーは自身の能力限界を押し広げるため、候補となる解決策を探索する役割を担う。そして、スキルコントローラーは実行フィードバックを収集し、スキルライブラリを更新・拡張する機能を果たす。
既存の自己進化型学習手法が直面する課題として、環境に縛られたアプローチは正確なフィードバックを得られる一方で学習ドメインが狭いという制約があった。他方、オープンエンドな自己生成はタスク空間を広げるものの、信頼できる検証が不足しており、誤解を招く報酬が学習ループを汚染する可能性が指摘されていた。Skill-SPは、各スキルが特定のシナリオで深く検証可能な実行を保証しつつ、スキル間の動的ルーティングによりオープンエンドなタスクの多様性を維持することで、これらの課題の解消を目指す。
経験的評価として、ツール利用と推論ベンチマークを用いた検証が実施された。その結果、Skill-SPは堅牢な進化エンジンとして、既存のバックボーンモデルの性能上限を一貫して押し上げることが示された。また、初期段階で性能が低かったモデルに対しても、顕著な改善をもたらす触媒として機能することが確認されている。
参考: arXiv cs.CL (アーカイブ) — 2026年7月25日 02:59 (JST)