arXiv cs.CLは2026年9月3日(現地時間)、論文「Legibility is Not Interpretability: Comparing Judged and Actual Importance in Chain-Of-Thought Reasoning」を公開した。この研究は、Chain-of-Thought (CoT) モデルの推論過程における「読みやすさ」（legibility）が、必ずしもその「解釈可能性」（interpretability）を保証しない可能性を示唆している。大規模言語モデル (LLM) を用いたCoT推論ステップの評価において、テキスト情報からステップの実際の重要性を判断することには限界があると指摘しており、既存の評価手法に再考を促す内容となっている。
本論文は、Kevin Du氏、Alexander Hoyle氏、Laura Ruis氏、Acyr Locatelli氏によって執筆されたもので、2026年のCOLM (Conference on Language Modeling) で発表される予定だ。これまでの研究では、CoTモデルの推論トレースは、モデルが最終回答に至る過程を理解するための「読みやすい窓」として広く認識されてきた。特に、LLMジャッジを用いたエラー診断、忠実性評価、あるいはプロセス報酬モデルによるステップレベルの監視など、多岐にわたる応用が模索されてきた。
しかし、この研究は、推論ステップのテキスト情報が、その機能的な役割や重要性をどの程度正確に反映しているかという根本的な問いを投げかける。研究チームは、推論ステップの重要性を「advantage」（あるステップを改変した際に期待される報酬、例えば正しい最終回答の生成における変化）として独自に定義した。この「advantage」はモンテカルロシミュレーションを通じて推定され、これを推論ステップの「真の重要性」とみなして検証が行われた。
具体的には、LLMジャッジが、提示された推論トレースのテキスト情報のみに基づいて、この「high-advantage」な（つまり真に重要な）ステップを正確に特定できるかどうかを評価した。その結果、十分に能力のあるLLMは、一般的なベースラインモデルを上回る性能を示したものの、「noise ceiling」（ノイズ上限、理論上の最適性能）には遠く及ばないことが判明した。
さらに、推論ステップを評価する「批評家」としてモデルをファインチューニングした場合、誤った応答に関しては大幅な改善が見られた一方で、正しい応答に対する評価では依然としてノイズ上限から大きく乖離したままだった。この結果は、推論トレースのテキストからステップの実際の重要性を完全に把握することは難しく、部分的にしか回復できない可能性を示唆している。
これらの発見は、Chain-of-Thought推論の忠実性に関する既存研究に重要な貢献を果たすものと見られている。特に、推論トレースの「読みやすさ」をそのまま「解釈可能性」と見なすことの危険性について警鐘を鳴らしており、プロセス報酬モデリングのような、ステップレベルの評価に基づくアプローチに再考を促す点で大きな影響を与えそうだ。
参考: arXiv cs.CL (アーカイブ) — 2026年9月4日 02:59 (JST)