arXiv cs.AIは9月17日(現地時間)、物理学に基づいた生物学研究におけるエビデンス駆動型科学推論の評価を目的とした新たなベンチマークデータセット「BioPhys-Bridge（バイオフィズ・ブリッジ）」を発表しました。これは、学際的な科学研究文献における言語モデルの課題に対応するために導入され、モデルが観測データを根拠となるエビデンスに基礎づけ、定量的な物理モデルを通じて解釈し、生物学的メカニズムと結びつけることで、信頼性の高い回答を生成する能力の検証に焦点を当てます。
言語モデルは、学際的な科学研究文献の分析、特に生物物理学研究において特有の課題に直面しています。信頼性の高い回答を生成するためには、観測データを根拠となるエビデンスに基礎づけ、それを定量的な物理モデルを通じて解釈し、最終的に生物学的メカニズムに連結させる複雑な推論が求められます。
この課題に対処するために開発された「BioPhys-Bridge」は、エビデンス駆動型科学推論のためのベンチマークデータセットです。各ケースには、エビデンスブロック、安定したエビデンスID、定量的値、単位、方程式、仮定、メカニズム、そして次の決定といった要素が含まれ、これらは質問応答（QA）や検索拡張生成（RAG）の根拠付けのターゲットとして機能します。初期リリース版では500のケースと1,517のagent-facing tasksが提供されており、6つの生物学的ドメインと9つの物理モデルファミリーをカバーしています。なお、このうち3つの物理モデルファミリーは将来の拡張のために確保されています。
データセットの品質を保証するため、BioPhys-Bridgeではスキーマ、エビデンス整合性、定量的根拠付け、ソースライセンス、重複、単位正規化といった項目について厳格な品質ゲートが適用されています。さらに、81のケースについてはドメイン専門家によるレビューとアノテーションが実施され、品質が担保されています。
予備評価の結果、DeepSeek-V4-FlashがエビデンスID F1スコアで0.360を達成し、最高の結果を示しました。これにQwen3.7-Maxが0.316で続き、GPT-4o-miniが0.294となっています。
BioPhys-Bridgeは、複雑な多段階科学推論を伴う帰属、忠実性、幻覚低減、および生物実験設計を評価するための学際的なベンチマークとして位置づけられます。今後の作業として、データセットの規模と複雑性の増加、および包括的な評価が予定されています。BioPhys-BridgeのコードとデータはGitHubリポジトリおよびHugging Faceで利用可能です。
参考: arXiv cs.AI (アーカイブ) — 2026年9月18日 13:00 (JST)
原文ハイライト"BioPhys-Bridge: A Benchmark for Interdisciplinary Scientific Reasoning in Physics-Grounded Biological Research"