arXivは7月10日(現地時間)、大規模言語モデル (LLM) の思考連鎖推論 (CoT reasoning) がその前提に真に依存しているかを評価するための、画期的な新しいブラックボックス手法「介入的基礎監査 (Interventional Grounding Audits)」に関する論文を公開した。ヒロナオ・ナカムラ氏らが提案するこの手法は、述語置換 (predicate substitution) を用いて、各推論ステップにおける前提への依存性を段階的にテストし、CoTの論理的整合性を厳密に検証することを目的としている。
本研究は、LLMが生成するCoT推論が論理的に見える一方で、必ずしもその明示された前提に真に依存しているとは限らないという課題に対応する。介入的基礎監査 (Interventional Grounding Audits)は、単一の前提に介入し、その対象述語を新しいシンボルで置換することでモデルを再実行し、各推論ステップの正規化された結論 (canonical predicate form) が変化するかを確認する手法である。
評価は、証明ツリー依存性が既知である合成多段階演繹推論ベンチマーク、プロントQA (ProntoQA) を用いて実施された。50のプロントQA問題に対しGPT-4oを適用した結果、本手法は証明ツリー依存性の検出においてF1スコア0.806を達成した。これは自己整合性ベースラインのF1スコア0.343を統計的に有意に上回る。また、述語決定依存性においてはF1スコア0.885、再現率 (Recall) 100%を記録した。
さらに、正しく解決された問題の66%において、一貫した置換の下で直接的な証明ツリー依存性に対して鈍感な少なくとも一つのステップが含まれることが判明した。これは、正しい答え、間違った推論 (right answer, wrong reasoning)という、受動的な方法では検出できない信号であり、エンティティ導入前提に関わるものが全て含まれていた。これらの知見は、一貫した置換評価器の既知の盲点を示すものとされる。
全ての監査証明書、生出力、再現スクリプトは公開のGitHubリポジトリで利用可能であり、研究では形式的で解析可能なベンチマークを超えた適用範囲の限界についても議論されている。本論文はICLR 2026 Workshop on Logical Reasoning of Large Language Modelsで採択された。
参考: arXiv cs.AI (アーカイブ) — 2026年7月16日 13:00 (JST)
原文ハイライト"Black-Box Premise-Dependency Tests for LLM Chain-of-Thought via Predicate Substitution"