arXivは7月6日(現地時間)、論文「FirstResearch: Auditable Question Formation for LLM Scientific Discovery Agents」を公開した。本論文は、大規模言語モデル（LLM）を用いた科学的発見エージェントのための、監査可能な研究質問形成フレームワーク「ファーストリサーチ (FirstResearch)」を提案する。その中核となるのは、研究質問のメカニズムや仮説を明確にする「Research Question Certificate」である。
FirstResearchは、LLMシステムが科学的発見においてアイデア出し、文献合成、実験計画、レポート生成を支援する際に生じる、最初の研究質問の監査の難しさに対処するために開発された。
LLMが提案する質問は妥当に聞こえるものの、科学者が検証すべきメカニズム、反証可能性、仮定が明確に示されない場合がある。この課題に対し、FirstResearchは明示的な導出制約を導入することで、LLMによって生成された科学的質問をより監査可能にすることを目指す。
本フレームワークの主要成果物であるResearch Question Certificateは、原始的な定義、仮定、メカニズムモデル、矛盾、反証可能な仮説、最小限の決定的なテスト、および失敗更新ルールを記録する。これにより、提案された質問は、その後の実行に移る前に検査可能となる。
ディープシーク・ブラインド・ジャッジ (DeepSeek-blind-judge) プロトコルを用いた10のLLMエージェント研究トピックに関する評価では、FirstResearchは、AI co-scientist、Agent Laboratory、AI Scientist-v2といったプロンプトレベルのベースラインを上回った。FirstResearchは平均スコア4.86/5を記録し、最も強力なベースラインの4.38/5を凌駕した。Pearsonの平均スコア一致度は0.865であった。
ジェミニ2.5フラッシュ (Gemini-2.5-Flash) による独立した再評価でもシステムレベルのランキングは維持され、FirstResearchは4.86/5のスコアを得た。構成要素を検証するアブレーション研究では、証明書中心のコアが最も強力なコンポーネントであることが示唆された。証明書のみの評価では、DeepSeek-blind-judge下で4.90/5、Gemini-2.5-Flash下で4.88/5に達した一方、証明書を除去した場合のスコアは両ジャッジの下で1/5を下回った。これらの結果は暫定的なものであり、LLMジャッジを使用しているものの、LLMによって生成された科学的質問をより監査可能にする上で、明示的な導出制約が有望なメカニズムであることを示唆している。
FirstResearchが提示する監査可能な質問形成は、AI co-scientistなどの競合エージェントと比較して、LLMによる科学的発見プロセスの信頼性と透明性を大幅に高める。これにより、科学分野におけるAI活用において、仮説生成から実験計画に至る各段階でのAIの介在をより厳密に検証可能にし、研究の再現性向上と新たな科学的知見の創出加速に構造的な変革をもたらす可能性がある。
参考: arXiv cs.AI — 2026年7月8日 13:00 (JST)
原文ハイライト"FirstResearch: Auditable Question Formation for LLM Scientific Discovery Agents"