チェンジェ・チウ (Chenjie Qiu) 氏らは2026年10月29日(現地時間)、オンライン学術誌arXivで、自己進化型AIエージェントの学習能力を評価する新たなベンチマーク「CLR-Bench」に関する研究論文を公開した。このベンチマークは、エージェントが「明示されていない隠れたルール」をフィードバックから学習できるかを検証する。従来の評価方法では、エージェントは修正点を例外リストに追加する傾向があり、本質的なルール学習が評価しづらかった課題に対応する。
この研究は、フィードバックに基づいて永続的な状態を書き換える自己進化型エージェントが、明示されていないルールを学習する能力について、これまで十分に検証されていなかったという課題を指摘している。
CLR-Bench（Curriculum of Latent Rules benchmark）は、各レベルで一つずつ隠れたルールを追加していく形式を採用している。ルールは、ウェブ上で公開されている航空会社のアライアンス創設メンバーのような、名付けられたグループを表す不透明なラベルに対して適用される。タスクでは一つの例示値が与えられ、練習フィードバックを通じてさらにメンバーと非メンバーが一つずつ提示される。テストでは、未見のメンバーと類似の非メンバーがチェックされる。
研究チームは、新しいデータドメインから20のチェーンを構築し、6種類の自己進化手法を評価した。その結果、認定モデルを使用した場合、これらの手法はほとんど学習しないことが判明した。最高の改善でも、凍結されたエージェントと比較して最大5ポイントの向上にとどまり、未見メンバーの除外率は6%〜12%で、生の練習履歴を維持した場合の20%よりも低い結果を示した。ただし、「命名グループの慣習」を明示する固定レッスンを導入すると、これらの手法の性能は14.5ポイントから16.5ポイント向上した。
より強力なモデルであるGPT-6-Solと組み合わせると、ACEとDynamic Cheatsheetはフィードバックのみから学習し、78%の精度を達成した。これにより、単一セルの59%〜60%を解決し、認定モデルでの53%と8%を上回り、生の履歴の性能を超えた。CLR-Benchは、エージェントの学習能力を測定し、その能力がモデルによって異なることを示すとしている。
参考: arXiv cs.AI (アーカイブ) — 2026年11月2日 14:00 (JST)
原文ハイライト"Benchmarking Self-Evolving Agents on a Hidden-Rule Curriculum"