Google Researchは8月12日(現地時間)、大規模言語モデル (LLM) の事実認識能力に関する研究結果を発表しました。それによると、最先端のLLMは事実のほぼ全てをエンコード（記憶）しているものの、その多くをリコール（想起）できないことが判明。事実誤認は知識の欠如ではなく、記憶の利用にボトルネックがあると指摘されています。
ニタイ・カルデロン (Nitay Calderon) 氏とガル・ヨナ (Gal Yona) 氏が発表した論文Empty Shelves or Lost Keys? Recall Is the Bottleneck for Parametric Factualityでは、大規模言語モデル (LLM) が事実を誤認する原因を診断するための行動フレームワーク、知識プロファイリング (knowledge profiling) が導入されました。このフレームワークは、知識がエンコードされていない空の棚 (encoding failure) と、エンコードされているが想起できない鍵をなくした状態 (recall failure) のどちらがボトルネックであるかを測定します。
知識プロファイリングは、エンコーディングとリコールの両方を測定し、最先端のLLMにおける事実認識の根本的なボトルネックを特定します。分析の結果、多くの事実誤認は知識の欠如ではなく、想起の失敗として理解されることが示されました。エンコーディングは事実のパラメトリック表現、リコールは外部の手がかりなしにエンコードされた事実を検索すること、認識は複数の選択肢から正しい事実を識別することと定義されています。
この分析を支援するため、ベンチマークWikiProfile (WikiProfile) が構築されました。WikiProfileは、ウィキペディア (Wikipedia) から派生した2,150の事実と、エンコーディング、リコール、認識を調査するための10の質問で構成されています。知識プロファイリングでは、各事実をエンコーディング失敗 (Encoding Failure)、想起失敗 (Recall Failure)、直接想起 (Direct Recall)、思考による想起 (Recall with thinking)、エンコーディングなしの推論 (Inference without Encoding) の5つの知識プロファイルに分類します。
主要な結果として、最先端のLLM（Gemini3およびGPT-5）では、事実のエンコーディングは95～98%と飽和状態にあるものの、リコールはそうではないことが判明しました。これらのモデルは、事実の95～98%をエンコードしているにもかかわらず、26～34%の事実を直接想起できませんでした。思考を伴っても、11～12%の事実で失敗しました。この結果は、最先端のモデルにおける事実誤りが、知識の欠如ではなく、保存されているがアクセスが困難な知識に起因することを示しており、ボトルネックが知識の取得から知識の利用へと移行していると結論付けられています。
参考: Google Research Blog (アーカイブ) — 2026年8月12日 18:51 (JST)
原文ハイライト"Recall is the bottleneck for parametric factuality"