Hugging Face Blogは2026年10月27日(現地時間)、アレン人工知能研究所 (Allen Institute for AI; Ai2) が発表した研究「Old Ideas, Novel Problems」について詳報した。この研究は、大規模言語モデル (LLM) が科学研究におけるアイデアの新規性を評価する際の信頼性について検証したものだ。Ai2は、新規性評価のためのベンチマーク、データ、コードに加え、自動評価セット構築パイプラインも公開しており、LLMによる評価の不安定性を指摘している。
Ai2は、科学的発見の様々な側面を支援するシステムを開発しており、データ分析ツールDataVoyager、仮説生成・検証システムAutoDiscovery、文献からの理論合成ツールTheorizer、そしてAstaといったプロジェクトを進めている。これらのシステムは、先行研究の理解から新しいアイデアの提案、テスト、洗練に至るまで研究者を支援することを目指す。
しかし、研究アイデアの生成だけでなく、それが真に新しい貢献であるか、既存の作業の単なる再パッケージ化ではないかを区別する能力も必要とされる。この新規性判断を担うのが「novelty judge」と呼ばれる別のLLMである。Novelty judgeの構築には標準的な方法がなく、研究チームはモデル、プロンプト、評価形式、推論予算、文献検索システムの選択によって判断が大きく左右される可能性があると指摘している。これらの評価は、LLMが生成したアイデアではなく、人間が執筆した論文でのみ検証されることが多い。
新しいベンチマークの結果は、新規性評価自体の信頼性が低いことを示唆している。GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5、Claude Opus 4.6という6つのLLM評価者を用いた実験では、評価設定のわずかな変更が同じアイデアに対する判断に劇的な違いを生み出した。例えば、ある実験では、プロンプトの数語を変更するだけで、2つのアイデアのうちどちらがより新規性が高いかを識別するモデルの精度が50パーセンテージポイント以上変動した。
検索機能や追加的な推論能力を付与しても、必ずしも判断が改善されるわけではなく、特定の目的のために構築された2つの新規性評価システムが、シンプルなプロンプトによるClaude Opus 4.6ベースラインよりも性能が劣る結果も出た。この研究は、LLMが科学的発見においてより大きな役割を担うためには、真に新しい提案であるかを判断するための、より信頼性の高い方法が必要であると結論付けている。
研究チームは、新規性判断の信頼性を検証するため、国際学習表現会議 (International Conference on Learning Representations; ICLR) 2026の査読レビューを活用し、基礎となる科学的貢献の独創性に関する強い証拠がある事例を収集した。これにより、高新規性プール（肯定的に新規性が評価された論文から154のアイデア）と低新規性プール（独創性に懸念が示された論文から145のアイデア）が構築された。さらに、LLMが生成したアイデアの評価に焦点を当てた「Human+Generated」設定では、検証済みの人間作成アイデア154件と、シンプルなLLMジェネレーターが作成したアイデア154件を組み合わせた。この際、LLMが生成したアイデアは人間が作成したアイデアよりも新規性が低いと仮定された。実験の結果、プロンプトの与え方が性能に最も大きな影響を与え、GPT-5.4ではプロンプトを変更しただけで、精度が93.5%から40.9%に低下し、半数以上のアイデアに対する判断が変わった。また、人間が作成した研究アイデアよりも、LLMが生成したアイデアに対して新規性判断が著しく不安定になる傾向が見られた。
参考: Hugging Face Blog (アーカイブ) — 2026年10月23日 07:40 (JST)
原文ハイライト"Can we trust LLMs to judge whether a research idea is novel?"