arXiv cs.AIが2026年7月29日(現地時間)に公開した論文「Can AI agents conduct open-ended AI research? Early evidence from two case studies」は、AIエージェントが自律的に開かれたAI研究を実施できるかについて、2つのケーススタディを用いた初期証拠を提示した。この研究では、未発表のNeurIPS 2026論文2件の主要な研究課題にフロンティアAIエージェントを投入し、原著者がその成果を評価する「シャドー評価」手法を導入した。エージェントはエンジニアリング作業を人間からの支援なしに完了させたものの、研究課題の解決には実質的な進捗を達成できず、両論文は原著者によって明確に却下された。
研究チームは、AI研究の自動化に向けた進捗を測定する新たな方法として、シャドー評価を提案した。この評価では、高品質な未発表論文の中心的かつ開かれた研究課題をエージェントに担当させ、論文の原著者がエージェントの出力を採点する。
フロンティアAIエージェントは、6日間と数千ドルのコンピューティングリソースを与えられ、NeurIPS 2026に提出された未発表論文2件についてシャドー評価に臨んだ。エージェントは、研究に必要な全てのエンジニアリング作業を人間の介入なしに完了させた。しかし、研究課題に対する実質的な進捗を生み出すことはできなかった。この結果、両論文は原著者によって明確に却下された。
研究チームは、エージェントの5つの繰り返される失敗モードを特定した。これには、発表可能な研究の基準に関する判断の甘さ、研究設計の欠点に対する創造性のない対応、行き詰まりからの非効率な後退、リソース認識の不足、そして指示のずれが含まれる。2つ目のモデルとスキャフォールドを用いたロバストネスチェックでもこれらの失敗が再現された。
本研究の成果は、今日のAIエージェントがAI研究のエンジニアリング部分は実行できるものの、研究ライフサイクルの重要な部分では困難を抱えるという初期的な証拠を示している。ピーター・カーギス (Peter Kirgis) 氏らは、専門家レビュー、調査回答、エージェントリポジトリ、およびログを公開している。
参考: arXiv cs.AI — 2026年7月30日 02:57 (JST)
原文ハイライト"today's agents can do the engineering of AI research"