CARAT、材料系LLMの推論・暗記を分析する評価フレームワーク発表
Jiajun Wu (ジアジュン・ウー) らは2026年9月30日(現地時間)、arXiv cs.AI で公開された論文にて、材料科学分野のLLM (大規模言語モデル) が結晶構造に関する質問に対し、推論に基づいているのか、あるいは単に学習データから既知の情報を再現しているのかを評価するフレームワーク「CARAT」を発表した。この研究は、LLMの回答精度だけでは判別が難しいとされる動作原理について、具体的な検証方法と知見を提供している。