学術誌arXiv cs.AIは2026年11月4日(現地時間)、AIエージェントの物理学研究能力を評価する新しいエンドツーエンドベンチマーク「FrontierPhysics」に関する論文を公開した。ビングラン・ユー (Bingran You)氏ら72名の研究チームが発表したこのベンチマークは、既存の評価方法が固定された質問や個別のサブタスクに限定されている現状を改善する目的で開発された。
FrontierPhysicsは、42名の物理学者が自身の研究に基づいて作成した56のタスクで構成されている。これらは理論、計算、実験物理学の9つの領域をカバーする。各タスクでは、エージェントが文献レビュー、研究計画の策定、研究および実験の実施、そして構造化された出力と科学論文の作成までを要求される。
評価には、確定的な検証システムと専門家が作成したルーブリックを組み合わせ、エージェントの研究が正確であるか、そして論文として出版可能であるかを判断する。22モデル26種類の構成でテストした結果、いずれの設定も168回のロールアウト中、46回を超える合格を達成することはなかった。
エージェントの軌跡を詳細に手動でレビューしたところ、最先端のエージェントの主な弱点は、物理学の知識不足や実行エラーではなく、推論の厳密性の欠如と専門家としての直感の限界にあることが判明した。
参考: arXiv cs.AI (アーカイブ) — 2026年11月5日 03:56 (JST)
原文ハイライト"FrontierPhysics evaluates whether agents' research is correct and publishable."
この記事をシェア