arXiv cs.CLは2026年9月4日(現地時間)、Sidhesh Badrinarayan氏とAdithya Parthasarathy氏らが、エージェントの自己修正を評価する新たな軽量フレームワーク「A-CEGIS」に関する論文を公開しました。同研究は、従来の単一ターン評価が、エージェントが具体的なフィードバックに基づいて成果物を修正する能力を過小評価していると指摘。反例をフィードバックとして活用し、自然言語から正規表現を合成する複数ターンでの改善評価手法を提案しています。
A-CEGISフレームワークは、エージェントが正規表現を提案する仕組みに基づいています。提案された正規表現は、決定論的なオラクルによって完全一致のセマンティクスに基づいて厳密にチェックされます。このチェックの結果、コンパクトな偽陽性（誤って正しいと判断されたケース）または偽陰性（誤って間違いと判断されたケース）の証拠が生成され、これが次のターンにおけるエージェントの修正行動を導く決定的なフィードバックとして機能します。
具体的には、エージェントは提供された反例に基づき、自身の正規表現を複数回にわたって反復的に改善していくプロセスをたどります。この反復的な修正サイクルを通じて、エージェントはより正確で堅牢な正規表現を学習し、生成することが期待されます。
評価は、自然言語記述から正規表現を生成する能力を測るために特別に設計された30 NL-RX-Turk tasksというタスク群を用いて実施されました。この評価の結果、A-CEGISが診断的な反例フィードバックを効果的に使用することで、わずか4ターンの予算内で全タスクの90%を解決したことが明らかになりました。これは、従来のゼロショット生成手法における解決率17%、一般的な自己修正手法の27%、およびエラーのみのフィードバックを用いる手法の23%と比較して、非常に顕著な改善を示しています。これらの数値は、反例を具体的な修正指針として提供することの有効性を明確に裏付けています。
さらに、ハーディング（困難なタスクを反復的に提示する学習戦略）を伴う完全な診断実行では、全てのタスクが最終ターンまでに隠されたセット上で解決されるという高い成功が記録されました。この際の平均成功ターン数は2.7ターンと効率的であり、ターゲットプロービング（特定の不具合を狙ってテストする手法）後の堅牢な成功率は77%を記録しました。これらの詳細な結果は、A-CEGISがエージェントのターンを通じた改善効率を測定するだけでなく、既存の検証用データセットを超えた実践的な堅牢性チェックも可能にしていることを強く示唆しています。研究者らは、このフレームワークがエージェントの自己修正能力をより正確に評価し、その開発を加速させる可能性を秘めていると見ています。
参考: arXiv cs.CL (アーカイブ) — 2026年9月4日 13:00 (JST)
原文ハイライト"Counterexamples as Feedback for Agent Self-Correction"