Liyan Wang氏らの研究チームは11月15日(現地時間)、大規模言語モデル (LLM) の原子力工学分野における推論能力を評価する新しいベンチマーク「NEBench R1」を発表した。このベンチマークは、米国原子力規制委員会 (U.S. Nuclear Regulatory Commission、NRC) の原子炉運転員免許試験から抽出された7,546問の一意の多肢選択問題で構成され、18の原子力施設を網羅している。

LLMは、原子力工学分野における知識集約的かつ安全性に不可欠なアプリケーションでの活用が模索されている。しかし、既存の原子力領域ベンチマークは、内容の網羅性が限定的であるか、または根本的な推論の質を系統的に評価するのではなく、主に回答の正確性に焦点を当てていた。

「NEBench R1」は、これらの課題に対応するために開発された。各質問は、NRC Knowledge and Abilities catalogsに基づいて分類され、推論評価の参照として機能する公式解説が付随している。研究チームは6つのLLMを評価した結果、全体的な正答率は3つの異なる性能層にわたって34.0%から73.9%の範囲であった。

推論の質を評価するため、LLMベースの評価器が、正しく回答された応答を多次元ルーブリックを用いて評価した。応答は概ね高い問題理解度を示したものの、事実および手順の正確性、そして誤選択肢分析において低いスコアを記録した。これは、正答が必ずしも技術的に妥当な根拠に裏打ちされているわけではないことを示唆している。応答の明確さも技術的品質の指標としては弱いとされた。

さらに、より長い推論過程を示す回答は、フロンティア推論モデルにおいて低い正確性に関連付けられた。これは、推論の長さが問題解決性能の向上ではなく、質問の難易度を反映している可能性があることを示唆している。このことから、推論に使われたトークン消費量が、信頼性の低い応答を特定するための追加的なシグナルを提供する可能性があるとしている。

NEBench R1は、正答精度と推論品質の両方を評価するための基礎を確立し、原子力工学におけるLLMのドメイン能力と信頼性を評価する基盤を提供すると研究者らは述べている。


参考: arXiv cs.AI — 2026年11月19日 14:00 (JST)

原文ハイライト

"NEBench R1: a Reasoning Benchmark for Evaluating Nuclear Domain Competence in Large Language Models"

この記事をシェア
X はてブ LinkedIn