arXiv cs.AI は8月20日(現地時間)、大規模言語モデル（LLM）エージェントがAIシステムを生成する学習アルゴリズムを設計する能力、すなわち「再帰的自己改善（RSI）」の可能性を評価する新たなベンチマーク「AI4AI-Bench」を発表した。このベンチマークは、既存の評価手法がデータ収集やハイパーパラメータ調整に偏っていた点を補完し、モデルがどのように学習するか自体を変更する能力の測定を目指す。
研究者らは、「AI4AI-Bench」を、10種類の学習アルゴリズムファミリーにわたる10個の凍結された研究リポジトリで構築した。各タスクにおいて、エージェントにはB300上で4時間以内に学習アルゴリズムを書き換える時間が与えられる。その後、エージェントがアクセスできない固定された評価器によって、最長12時間かけてコードがゼロから再実行され、リポジトリの元アルゴリズムと比較してスコアが付けられる。
10の異なる評価指標を統一するため、各タスクは0（情報のないモデル）から1.0（タスクの最適解）までの尺度にマッピングされ、元のアルゴリズムは0.1と設定された。このベンチマークで、6つのシステムの29の構成を全ての10タスクで評価した結果、平均スコアは0.166となり、最も優れたシステムでも0.250に留まった。これは、既存アルゴリズムと最適解との距離の5分の1未満しか埋められていないことを示している。
提出された結果によると、モデルがどのように学習するかを実際に変更した少数派のエージェントが平均0.226のスコアを達成したのに対し、変更しなかった残りのエージェントは0.126であった。より多くの推論努力を要するエージェントは、このような変更を行う傾向が強く、提出物の8%から64%に増加し、平均スコアも0.094から0.196へと向上した。研究チームは、タスクスイート、評価器、および全てのスコア付き提出物を公開しており、システムの進化に伴う測定の再現を可能にするとしている。
参考: arXiv cs.AI (アーカイブ) — 2026年8月21日 02:56 (JST)