arXiv cs.CL は2026年10月26日(現地時間)、大規模言語モデル (LLM) を用いた研究エージェントが、その裏付けとなる根拠よりも断定的な結論を主張する「主張の平滑化 (smoothing)」現象を定量化したと発表した。研究チームは、この効果を測定するために新たな評価パイプライン「SmoothScore」を導入。LLMが多様で矛盾する情報源を単一の物語に集約する際に、根拠の多様性を排除し、引用が支持できる以上の結論を示す傾向があることを指摘した。
大規模言語モデル (LLM) は、膨大な文書コレクションを読み込み、そこから知見を生成する「深層研究」において、その応用が期待されている。しかし、この研究は、LLMが情報源を統合する際に特有の問題が生じることを明らかにしている。
論文では、LLMが生成する長文の研究レポートが、自信に満ちた一貫した統合体として読めるにもかかわらず、その根本となる文書群を必ずしも正確に反映しない現象を主張の平滑化 (smoothing)と名付けている。この平滑化は、多様で潜在的に矛盾する情報源を単一の物語に集約する過程で、モデルがそのコーパスの根拠におけるぎざぎざ性 (jaggedness)を排除し、引用が裏付ける以上に決定的な結論を主張することで発生すると定義されている。これは、情報源が示す曖昧さや不確実性をモデルが取り除き、過度に明確な結論を導き出す傾向を指す。
研究チームは、この平滑化効果を主張レベルで定量化するための新たなスコアリングパイプライン「SmoothScore」を導入した。このパイプラインは、複数の段階を経て機能する。まず、モデルが生成したレポートから主要な決定的な主張 (definitive claims) を抽出する。次に、これらの各主張に関連する証拠 (evidence) を元の情報源コレクションの中から発見し、特定する。その後、発見された証拠を高レベルの側面に基づいてクラスタリングし、証拠群が持つ多様性や矛盾の度合いを分析する。最終的に、エージェントによって行われた平滑化の度合いを定量的に評価するため、各主張をその裏付けとなる証拠と照らし合わせてスコアを付ける。
SmoothScore を用いた評価は、7つの異なるシステムと4つの多様なデータセットにわたって広範に実施された。この評価により、LLMリサーチエージェントが、その根拠となる証拠が示す主張の強さよりも、一貫して強い主張を生成する傾向にあることが判明した。これは、モデルが情報源の曖昧さを簡素化し、より断定的な表現を選択する傾向があることを示唆している。研究結果は、LLMの生成する情報がどれほど信頼できるかを評価する上で、その情報源との整合性を厳しく検証する必要性があることを浮き彫りにしている。
参考: arXiv cs.CL (アーカイブ) — 2026年10月27日 02:29 (JST)