OpenFrontiersは2026年10月27日(現地時間)、Jiarui Yao氏らによる論文として、オープンな研究問題の構造化されたコーパスと、数学分野における最近解決された問題の遡及的ベンチマークを組み合わせた学際的なリソース「OpenFrontiers」を発表した。これは、大規模言語モデル (LLMs) の研究レベルでの問題解決能力評価が直面する既存の課題、特に包括的な問題集の欠如に対応し、その解決能力を客観的に測定するための基盤を構築することを目的としている。
このOpenFrontiersは、計12,151の研究問題に関する記述、関連コンテキスト、進捗状況などの詳細な情報を記録した広範なコーパスを特徴とする。さらに、大規模言語モデルの評価に特化した200の問題で構成されるベンチマークも提供される。このうち110の問題は2026年までに解決済みであり、残りの90は未解決の状態である。
各問題は、形式的証明に用いられるインタラクティブな定理証明システムであるLean 4ステートメントで厳密に記述されており、自動プローブと2つの独立した人間のレビューによってその正確性が検証されている。また、コーパスの中から品質スコアに基づいて厳選されたHQ-50サブセットも含まれており、より質の高い問題に焦点を当てた評価が可能となっている。
評価プロトコルでは、最先端の7つの大規模言語モデルエージェントがHQ-50サブセットで評価された。この評価は、隔離されたサンドボックス環境内で実施され、クローズドブック、フローズン・リトリーバル、ライブウェブという三つの異なる条件下で行われた。提出された形式的な証明は、客観性を保つため、2つの独立した証明チェッカーによって採点された。
評価の結果、クローズドブック条件下における解決済み問題の再発見は稀であり、解決済み40問題中、最大でも7問題に留まることが判明した。これは、先行知識なしに研究レベルの問題を自律的に解決することの難しさを示唆している。一方、ライブウェブ条件下での成功は、主に公開されたソリューションを効率的に検索した結果が反映されていると報告されており、外部情報へのアクセスが問題解決に与える影響の大きさが浮き彫りとなった。
OpenFrontiersは、広範な研究問題コーパスと、解決策が文書化された形式的に採点された評価サブセットを連結することで、大規模言語モデルによる研究レベルの再発見能力を測定し、現在未解決の科学的問題の解決に向けた進捗を客観的に研究するための新たな基盤を提供する。データセットとベンチマークは、[論文で指定されたURL]で提供されており、研究コミュニティ全体での活用が期待される。
参考: arXiv cs.AI — 2026年10月31日 13:00 (JST)
原文ハイライト"A Collection of Open Research Problems and a Benchmark for Scientific Rediscovery"