arXiv cs.CLは8月31日(現地時間)、大規模言語モデル（LLM）が曖昧な目標から自己進化する能力を評価する新たなベンチマーク「ASPIRE」を導入する論文を公開した。従来のベンチマークが明確なタスクと評価指標を事前に設定するのに対し、ASPIREは自然言語による能力目標のみをエージェントに提示する点が特徴だ。エージェントは自律的に学習データ、更新方法、評価タイミングなどを決定する必要があり、モデルの重みとエージェントハーネスの両方の進化を単一環境でサポートする。
ASPIREは、エージェントが自然言語で与えられた曖昧な目標を自ら解釈し、その達成に向けて自己を改善していくプロセスを検証するために設計された。これは、人間が事前に詳細なタスクと評価基準を定義する伝統的なアプローチとは一線を画する。
このベンチマークは、モデルの重み（パラメーター）とエージェントハーネス（振る舞いを制御する外部コードや設定）の両方が、環境内で一体的に進化していくことを可能にする。エージェントには目標達成のための手段が具体的に指示されず、学習データの収集、モデルの更新メカニズム、そして自身の進捗を評価するタイミングや基準まで、全て自身で判断し実行することが求められる。
ASPIREの評価は、隠された専門家作成の520項目からなるデータセットを用いて、6つの異なる目標にわたって行われる。これらの目標は意図的に曖昧に設定されており、例えば特定のドメインに関する専門知識を持つといった抽象的な表現が用いられる。初期の実験結果からは、曖昧な目標がエージェントの探索努力を、目標そのものの解釈という方向へと強く転換させることが示された。
現在のエージェントは、訓練とハーネス編集のループを継続的に完了できるものの、重みレベルでの性能向上は散発的で不安定な状態にある。最も性能が向上したエージェントハーネスでさえ、既存のエンジニアリングされたQwen-Agentリファレンスを下回る結果となった。この不安定性は、エージェントが不一致なデータで訓練を行い、かつ限定的な自己評価メカニズムに依存しているためと考えられている。その結果、個々の局所的な性能改善が、最終的な隠された評価環境における全体的な能力向上へと転移せず、むしろ継続的な探索や訓練が、それまでの改善を打ち消してしまう可能性が指摘されている。この課題は、より高度な自己進化能力を持つAIシステムの開発における重要な研究テーマとなっている。
参考: arXiv cs.CL (アーカイブ) — 2026年9月1日 02:14 (JST)
原文ハイライト"Can Models Self-Evolve from Vague Goals?"