Zhuoshi Pan氏らは2026年8月28日(現地時間)、大規模言語モデル (LLM) がロングテールな事実に関する相反する記述を保持する能力を評価するため、「ElephantBench」という新たなクローズドブック知識プローブを導入した。この研究は、LLMが多様な情報源から得られた知識をどの程度完全に統合できるかについて、現状の課題を浮き彫りにしている。従来の質問応答システムでは捉えきれなかったLLMの認識的近視を診断することが目的だ。
Zhuoshi Pan氏、Junru Lu氏、Yan Qian氏、H. Vicky Zhao氏、Di Yin氏、Xing Sun氏らが発表した論文は、従来の事実に関する質問応答（QA）が単一の規範的な回答を前提としている点を指摘した。そのため、大規模言語モデル（LLM）がロングテールな事実について異なる記述をどのように保持しているかが不明瞭だった。研究チームはこの課題に対処するため、1,094の質問からなるElephantBenchを開発した。
ElephantBenchの質問は、監査可能なグラフベースのパイプラインを通じて生成された。このプロセスでは、低露出のウェブコーパスから関連文書が取得され、自然発生的な不一致が特定される。これらはその後、複数アカウントのQA記録に変換される。各回答は、元の文書と信頼できる公開ウェブソースによって検証され、さらに人間のアノテーターによって詳細にレビューされた。
32のモデルを対象とした評価では、最も強力なモデルであっても、質問の52.4%において両方のアカウントを正確に回復できたに過ぎなかった。残りのほぼ全ての質問では、モデルは一方のアカウントを想起し、もう一方を省略するという結果が示された。モデルサイズの拡大や推論時の推論の活用は、想起能力を改善する傾向が見られたものの、この不完全さを完全に解消するには至らなかった。
コーパス分析からは、情報露出の不均衡が支配的なアカウントを優遇する傾向がある一方で、少数派のアカウントの露出が多いほど、より完全な想起と関連していることが示唆された。これらの結果は、ElephantBenchがパラメトリックメモリにおけるLLMの認識的近視を診断するための、再現性のある知識プローブとして機能することを示している。このグラフベースのベンチマーク構築パイプラインは、ロングテールコーパスをソース追跡可能な知識プローブに変える効率的かつスケーラブルな方法を提供し、次世代LLMの認識的厳密さを評価・推進する取り組みを支援する。
参考: arXiv cs.CL (アーカイブ) — 2026年8月29日 01:06 (JST)