arXiv cs.AIは7月9日(現地時間)に公開された論文で、科学的アイデアの系統推論および系統に基づいたアイデア生成を評価する新たなベンチマーク「IdeaGene-Bench（アイデアジーンベンチ）」を研究者らが開発したと発表した。このベンチマークは、科学的アイデアが生物のゲノムのように、先行研究からメカニズムを継承し、限界を修復し、要素を再結合するという概念に基づき、既存AIのこの継承構造追跡能力の限界に迫る。
IdeaGene-Benchは、IdeaGene framework（アイデアジーンフレームワーク）に沿って設計されており、各論文や提案を、根拠に基づく最小限で型付けされたIdea Genome objects（アイデアゲノムオブジェクト）の集合として表現する。GenomeDiff（ゲノムディフ）はこれらのオブジェクトを位置合わせし、継承、変異、喪失、外部からの取り込み、新規挿入という6つの進化的動態を記録する。
このベンチマークには、10の科学分野にわたる1,961のゴールデン系統追跡データ、1,085のキュレーションされたIdea Genome objects、920のペアワイズGenomeDiff記録が含まれる。評価は二つの方法でサポートされる。
一つはIG-Exam（アイジーイグザム）で、Idea Genomeの抽象化、継承追跡、進化的推論、系統検証にわたる閉形式の系統推論をテストする。これは42のタスクタイプと1,029のインスタンスを持つ。もう一つはIG-Arena（アイジーアリーナ）で、系統条件付きPopulation-Evolution Score（PES）を用いて生成能力を評価する。これは、提案が与えられた系統集団の首尾一貫した子孫として挿入できるか、適切なIdea Genome objectsを継承し、既存の研究から意味のある多様性を提供し、将来の研究に選択価値を提供するかを問う。
Yifan Zhou氏らの研究チームが実施した14のLLMベースのシステムを用いた実験では、構成的ボトルネックが露呈した。最も強力なシステムでも、系統推論における正確性は27.3%にしか達せず、構造化された系統コンテキストは、すべての参加者を一様に助けるのではなく、システムのランキングを再編成した。
このベンチマークは、既存の自然言語処理（NLP）や推論タスクを評価するベンチマークとは一線を画す。従来のベンチマークが主に事実の抽出、論理的推論、特定のタスクの完遂能力に焦点を当てる一方、IdeaGene-Benchは科学的アイデアの発生から進化、変容に至る複雑な系統関係をモデルがどれだけ深く理解し、再現できるかに特化している。特に、科学知識の継続的な発展という動的な側面を捉える点で、他の評価指標にない独自性を持つ。
Yifan Zhou氏らの実験結果が示す27.3%という低い正確性は、現在のLLMがアイデアの進化的動態を追跡し、理解する上で根本的な課題を抱えていることを示唆する。AI研究者や機械学習（ML）エンジニアにとって、これはLLM開発における新たなフロンティアとなるだろうと見られている。IdeaGene-Benchを活用することで、モデルは単に情報を生成するだけでなく、学術論文の関連性や先行研究との繋がりを正確に認識し、新たな研究テーマや仮説を形成する過程をより洗練された形で支援できる可能性がある。例えば、特定の研究分野における最新の進展を理解し、次の「進化的ステップ」を予測するような、より高度な科学支援ツール開発の方向性を示唆する。このベンチマークは、モデルアーキテクチャの改善、より進化した推論メカニズムの導入、または特定の科学知識体系に特化したトレーニングデータセットの構築など、LLMの進化論的推論能力を向上させるための具体的な研究開発指針を提供する。
参考: arXiv cs.AI (アーカイブ) — 2026年7月10日 02:55 (JST)
原文ハイライト"Ideas Have Genomes: Benchmarking Scientific Lineage Reasoning and Lineage-Grounded Idea Generation"