Shicheng Liuらの研究チームは2026年10月16日(現地時間)、大規模言語モデル (LLM) エージェントが科学的発見における研究結果の再現性評価と分析的堅牢性の検証を自動化できる可能性を示す論文をarXiv cs.AIで公開した。彼らは、広く利用されている米国のがん登録データベース、Surveillance, Epidemiology, and End Results (SEER) を用いた医学的ケーススタディでその有効性を調査。AIエージェントがSEER-Reproベンチマークに含まれる公開論文の原子的主張の77.4%を再現し、分析パイプラインが堅牢性を自動テストする手法を確立した。
研究では、再現可能で分析的に堅牢な研究結果が科学的進歩に不可欠であるにもかかわらず、これらの特性の評価に通常は高コストな手動作業が必要となる点に着目。LLMエージェントが再現と堅牢性分析の自動化を支援できるかどうかが調査された。
まず、研究チームは20の公開されたSEERベースの論文と、それらの発見を再現するために必要なデータおよびリソースを含むベンチマーク「SEER-Repro」を導入した。次に、AIエージェントを開発し、2,190の原子的主張の77.4%を再現することに成功。これにより、さらなる分析のための実行可能なベースラインが提供された。
さらに、エージェント分析パイプラインを開発し、各発見の根底にある分析的選択肢を特定、適切な代替案を提案、そして分析を再実行してそれらの選択肢が結論に影響するかを判断することで、医学的発見の堅牢性を検証した。SEER-Repro内の公開論文全体において、このパイプラインは完全に再現された発見の9.5%において、潜在的に影響力のある分析的選択肢を特定し、専門家によるレビューの必要性を示している。
これらの結果は、LLMエージェントが結果の再現、堅牢性の系統的なテスト、そして潜在的に影響力のある分析的選択肢への専門家の注意喚起を通じて、科学的レビューを支援し得ることを示唆している。
参考: arXiv cs.AI — 2026年10月17日 02:57 (JST)
原文ハイライト"LLM agents can support scientific review by reproducing findings, systematically testing their robustness"