ファンザー・メン (Fanzhe Meng) 氏らの研究チームは2026年8月6日(現地時間)、学術論文プレプリントサーバーarXiv cs.LGで発表した論文「CalibForge: Adversarial Solver Calibration for Scaling Learnable Terminal Tasks」において、自律的なターミナルタスク（terminal-task）合成システム「CalibForge」を提示した。同システムは検証済みのソルバー（solver）の振る舞いを利用し、敵対的ソルバーキャリブレーション（adversarial solver calibration）を通じて候補タスクを修正する。
研究チームは、ターミナルエージェントのトレーニングには、単に解決可能なだけでなく、学習に対して適切に挑戦的な実行可能かつ検証可能なタスクが必要であると指摘している。実行可能な検証によって実現可能性は確立されるものの、与えられたソルバー設定に対してタスクがどのように振る舞うかは明らかにならない。
CalibForgeは、マルチソルバーキャリブレーションとコントラストソルバーキャリブレーションという二つの戦略を用いる。マルチソルバーキャリブレーションは異種ソルバープール内での不一致を対象とし、コントラストソルバーキャリブレーションは指定された強パス/弱フェイル関係を対象とする。これらの戦略は、実証された解決可能性に根ざしたソルバー相対的な学習可能ゾーンを運用する。
CalibForgeを用いて、研究チームは5,431のキャリブレーションされたターミナルタスクを構築した。アブレーション実験では、両戦略が単独での作成と検証、または通常のシングルソルバーフィードバックよりも効果的な監視をもたらすことを示している。このタスクコレクションでトレーニングされたモデルは、Terminal-Bench 2.0において32.58%および47.57%を達成した。対応するベースモデルに対する最大の改善は、Terminal-Bench 2.0で24.71パーセンテージポイント、SWE-bench Proで27.68ポイント、Doc2Repoで30.04ポイントに達している。これらの結果は、効果的かつ転移可能なエージェントトレーニングデータ構築において、ソルバー相対的な学習可能性が実用的な目標であることを支持すると研究チームは述べている。
参考: arXiv cs.LG (アーカイブ) — 2026年8月7日 02:53 (JST)
原文ハイライト"Using CalibForge, we construct 5,431 calibrated terminal tasks."