ガブリエル・ドミニチ (Gabriele Dominici) 氏ら研究チームは2026年10月22日(現地時間)、arXiv cs.LGを通じ、大規模言語モデルの推論プロセスにおける因果的透明性を強化する新しい推論フレームワーク「Causal Chain of Thought (CausalCoT)」を発表した。Chain-of-thought (CoT) promptingはステップバイステップの理由付けを生成するが、それが最終回答の真の因果的要因であるとは限らないという課題を指摘。CausalCoTは文脈の分離を通じてこの問題を軽減する。
標準的な自己回帰生成において、モデルは完全な文脈に注意を払うことで、直接参照によって回答を導き出し、もっともらしいが後付けの正当化を生成する可能性がある。これに対し、CausalCoTは問題を原子的な副質問からなる有向非巡回グラフ (directed acyclic graph) に分解する。
このフレームワークでは、各ノードがその直接の因果的親のみを含む分離された文脈で評価される。このマルコフ的な構造により、親ではない内容への注意経路が除去され、下流の予測が大域的な文脈漏洩ではなく、局所的な推論に敏感になる。
CausalCoTは、多様な推論ベンチマークにおいて、競争力のある予測性能を維持しつつ、説明の忠実性を向上させることを示した。中間推論ステップの因果的感度を、最も強力なベースラインと比較して平均12ポイント、最大21ポイント向上させる。また、この構造化された依存グラフは、局所的な修正が下流の推論を通じて予測可能に伝播するテスト時介入を可能にする。
参考: arXiv cs.LG — 2026年10月23日 02:52 (JST)
原文ハイライト"increasing causal sensitivity of intermediate reasoning steps by an average of 12"