Zijian Zhangらが2026年11月10日(現地時間)付けでarXiv cs.LGに投稿した論文で、言語モデルの強化学習（Reinforcement Learning of Language Models）をAIが支援する新たなフレームワーク「AutoScaffold」を発表した。これは、学習モデルの経験を適応的な足場（scaffolds）に変換し、ドメイン固有の情報や人間の介入なしに学習を導く。
強化学習（RL）は豊富な訓練経験を生み出すものの、結果報酬は情報を単一の数値に集約し、その大部分を活用しない。訓練時にプロンプトに追加される「足場」は、この情報をガイダンスに変換する自然な方法だが、その設計と適応はこれまで人間が手作業で行い、特定のドメインに特化されていた。
AutoScaffoldは、凍結された教師モデルが定期的に学習モデルの経験を分析し、ボトルネックを診断する。そして、(i)一連のタスクで共有される戦略と、(ii)個別の困難なタスクに対するヒントという二つの形式で足場を設計し、学習モデルの習熟度に応じてサポートの内容と量を調整する。これらの足場は評価時には削除される。
研究チームはAutoScaffoldをALFWorld、検索ベースのQA、数学的推論、GPUカーネル生成の四つのドメインに適用した。足場なしで評価した結果、AutoScaffoldで訓練された学習モデルは、対応するRLベースラインで訓練されたモデルをすべてのドメインで上回った。
具体的な改善点として、ALFWorldの成功率では7.2ポイント、平均QA正答率では4.0ポイントの向上が見られた。GPUカーネル生成においては、PyTorchリファレンスよりも高速に実行される正しいカーネルを持つタスクの割合が最大で5.0ポイント増加した。また、数学タスクでは、およそ3分の1の学習ステップでQuestAの報告された精度を上回った。
参考: arXiv cs.LG (アーカイブ) — 2026年11月11日 03:58 (JST)
原文ハイライト"AutoScaffold, a unified AI-for-AI framework that turns a student's training experience into adaptive scaffolds"