「ModHarness-RL: Recasting Harnesses as Learnable and Evolving Programs for Agentic RL」と題された論文は11月13日(現地時間)、エージェンティック強化学習 (RL) におけるモデルの相互作用とガイダンスを決定する「ハーネス」を、データから学習し、RL訓練中に進化するプログラムとして再構築する手法「モッドハーネスRL (ModHarness-RL)」を提案した。この手法は、従来の固定された手書きハーネスの限界を解決し、モデルの振る舞いの変化に適応することを目指している。
既存のエージェンティック強化学習 (Agentic Reinforcement Learning、RL) アプローチでは、ハーネスは手書きで固定されることが多く、その有効性はドメイン、データ、モデルに依存し、訓練に伴い変化し続ける必要があるという課題があった。
モッドハーネスRL (ModHarness-RL) は、相互作用を構造化されたStateとして記録し、二つの主要なハーネスコンポーネントであるCompression programとSteering programを導入する。Compression programは蓄積された履歴をモデルのコンテキストに組み立て、Steering programは振る舞いが逸脱した場合にガイダンスを提供する。
RL訓練中、システムは最近の軌跡から候補プログラムを提案し、実行によって検証し、過去の軌跡でリプレイする。これにより、ハーネスはモデルの振る舞いの変化を追跡し、適応することが可能になる。Zelin He (Zelin He) 氏らが実施した研究では、CodeSearchを詳細に分析したほか、ALFWorldとBIRD SQLも調査対象とした。モデルサイズは1.5Bから8Bまでを使用している。
提案されたCompressionおよびSteeringメカニズムは、ほとんどの設定において、固定ハーネスのベースラインと比較してホールドアウト性能を向上させた。これらの結果は、エージェンティックRLのハーネスが、タスクのデータから学習され、モデルとともに進化し得る可能性を示唆している。
参考: arXiv cs.AI (アーカイブ) — 2026年11月14日 03:45 (JST)