arXiv cs.AIは2026年5月22日(現地時間)、大規模言語モデル（LLM）の情報識別能力に関する研究論文を公開した。本研究は、LLMが外部知識源からの情報を適切に評価し、信頼できる情報源からの情報をより重視し、真実への近さに応じて事前情報を更新するかを調査。Learn2Discern（L2D）と呼ばれる実験的枠組みとベンチマークを導入し、LLMが情報源と真実の識別において課題を抱えていることを指摘している。
研究では、情報識別を情報源の識別（source discernment）と真実の識別（truth discernment）として形式化し、Learn2Discern（L2D）を導入した。これは、解釈可能な指標を持つ三つの規範的公理に基づいた実験的枠組みおよびベンチマークである。
外部妥当性を確立するため、事前登録された割当一致型ユーザー調査（n=299）を実施。この調査により、実際のLLMユーザーが三つの公理すべてを支持し、それらの違反がモデルへの信頼と利用意図を低下させると報告された。
13のモデルと約67万回の試行にわたる検証の結果、モデルは情報源と真実の識別の両方で一貫した失敗を示し、その性能は偶然に近かった。モデルは情報源の信頼性よりも情報源の人気に約2倍多く依存し、主張が真実への位置を改善するか悪化させるかに関わらず、ほぼ同程度に更新することが判明した。
モデルは、自身の事前情報が既に最も正確なデータセットにおいて、外部知識を最も効果的に統合するとされる。また、新しく大規模なモデルは真実の識別は改善するものの、情報源の識別は改善しない「盲点」が存在する。研究チームは、推論時におけるシンプルな介入によって、両方の形式の識別を改善できることを確認した。本研究で使用されたデータセットと調査は公開されており、LLMが従来の検索を置き換えるにつれて重要性が増すアラインメント特性のテストベッドとして利用可能である。
参考: arXiv cs.AI (アーカイブ) — 2026年7月23日 13:00 (JST)