サヤシュ・カプール (Sayash Kapoor) 氏とアーヴィンド・ナラヤナン (Arvind Narayanan) 氏らは8月5日(現地時間)、AIエージェント (AI agent) がオープンエンドなAI研究タスクを遂行する能力に関する新たな研究結果を公開した。未発表のAI論文2報の研究課題に対しフロンティアAIエージェントに研究を実行させたところ、両エージェントが作成した論文は元の著者によって明確に却下されたという。この知見は、AIの再帰的自己改善 (RSI: Recursive Self-Improvement) の進展を評価する上で重要な意味を持つとされている。
研究では、AI研究の自動化、すなわちRSIの進捗を評価するため、「シャドウ評価」と呼ばれる手法を採用した。これは、エージェントがオンラインでアクセスできない未発表論文の課題を追跡する形式である。
エージェントにはAPIクレジットと計算リソースが与えられ、6日間の期間が設定された。しかし、詳細なログ分析の結果、エージェントにはオープンエンドな研究を行うための判断力が不足していることが判明した。エージェントは専門家が評価する有望な方向性を提案したものの、それらを低品質または合成データに基づいて却下していた。
また、利用可能なリソースに対する認識も不足していた。エージェントはAPI予算の50%未満しか使用せず、設定された締め切りまでに時間も残していた。さらに、エージェントは自己レビューで課題が浮上しても創造的に対応せず、否定的なフィードバックに対して既存の発見に注意書きを追加するに留まった。その結果、有望でない研究方向性を継続し、実験初日に最も野心的な研究目標を取り下げて以降、アプローチを根本的に変更することもなかった。探索に費やす時間やAI自己レビューツールの利用頻度、論文の長さに関する具体的な指示も無視された。
これらの結果は、フロンティアAIエージェントにとってオープンエンドな研究の実施が依然として困難であることを示唆している。研究チームは、これらの知見がRSIやAIの進歩のペースに関する理解を深めることに貢献すると述べている。
参考: AI Snake Oil (アーカイブ) — 2026年8月5日 22:49 (JST)