Jiajun Wu (ジアジュン・ウー) らは2026年9月30日(現地時間)、arXiv cs.AI で公開された論文にて、材料科学分野のLLM (大規模言語モデル) が結晶構造に関する質問に対し、推論に基づいているのか、あるいは単に学習データから既知の情報を再現しているのかを評価するフレームワーク「CARAT」を発表した。この研究は、LLMの回答精度だけでは判別が難しいとされる動作原理について、具体的な検証方法と知見を提供している。
CARATフレームワークは、質問と正答を8つの対応する視点で固定し、GraphSpace で構造的関係を個別に命名する。さらに、マッチしたファインチューニング、回答マスキング、証拠の注入、ペア推論、および主張を差し控えることができるルールを組み込む。
ベンチマークの最も困難なファミリにおいて、接地された視点 (grounded view) は、数式入力と比較して17.3ポイントの価値があることが示された。また、GraphSpace は従来の周期グラフを19.3ポイント上回るものの、その差はベースラインが欠いていた要素による部分が大きい。従来のレンダリングが必要な情報をすべて含む場合、差は1.96ポイントだが、これらのフィールドを完全に省略する場合には46.7ポイントとなる。
研究チームは自身のベンチマークに対しても検証を行った。直接リストを読み込むショートカットルールは、7つの困難なファミリのうち4つに回答できたため、意図しないショートカットを排除するよう再構築された。結果として、凍結されたモデルは引用されたリンクを繰り返し、リダイレクトしても95.6%のペアケースで同じ回答を示した。これはモデルが関係性を利用せずに繰り返していることを示唆する。しかし、マッチした教師あり学習後には99.8%に達し、リンクを削除すると23.4%に低下する。これは、最良のショートカットが到達する27.0%を下回る値であり、両方のステップが学習可能であることが確認された。
参考: arXiv cs.AI (アーカイブ) — 2026年10月1日 13:00 (JST)
原文ハイライト"it repeats the relation without using it."