arXiv cs.AIは2026年8月27日(現地時間)、大規模言語モデル (LLM) エージェントに関する論文を公開した。それによると、プロフェッショナルな見た目の市場データパネルを提示されたLLMエージェントは、予測不可能な問いに対しても判断を下す傾向が示された。提示された情報が偽造されたものであっても、「パッケージングの権威」によって自信を持って行動する可能性を指摘。この失敗は普遍的ではなく、一部のモデルに集中して見られる現象だとされる。
プラナフ・アガルワル (Pranav Aggarwal) 氏による論文Calibrated Enough to Know, Not Calibrated to Act: Fabricated Evidence Makes LLM Agents Commit to the Unknowableは、12のフロンティアモデルを対象とした実験結果を報告している。
実験の結果、プロフェッショナルな外観の市場パネルを提示されたLLM (大規模言語モデル) エージェントは、内容が予測不可能な質問に対しても、単に質問を投げかけられた場合と比較して、方向性のある回答を行う頻度が大幅に高まることが判明した。証拠がエスカレートするにつれて、コミットメントは6.5%から54.0%に上昇したという。
さらに、パネル上の数値が全て捏造された状態、つまり、質問自体を除いてモデルが見る情報が全て偽りである場合でも、コミットメントは24.5%から36.8%に上昇した。この値は、実際の市場データによって生成された37.6%のコミットメントと統計的に区別できないものであった。この結果から、自信のある行動を促すのは情報そのものではなく、その「パッケージングの権威」であると著者は指摘している。
この失敗は、特定の場所に限定され、能力不足によるものではないと論文は述べている。同じパネルに付随する回答可能な質問に対しては、同じモデルがほぼ常に、ほぼ完璧な精度で回答するからだ。また、確信度の問題でも判断力の欠如でもないとされる。モデルは行動前に質問の既知性を分類するよう求められた場合、90%の確率で還元不可能と判断し、そのうち0.4%しかコミットしないためである。問題は「行動するか否か」のゲートにあり、この効果は普遍的ではなく、一部のモデルに集中しているという。
論文では、このゲートは分離可能であり、訓練可能であるとしている。540の合成ケース（主にサイコロ、コイン、瓶、タイマー）を用いた3Bモデルの教師ありファインチューニングにより、元のケースでのコミットメントは0.0%にまで低下し、未見の3つのドメインにも転移した。しかし、このゲートはレスポンス形式が推論の余地を残している場合にのみ機能し、厳格な形式ではモデルは自信を持って、本来正しく回答できる質問でも誤るという。著者は、このゲートが訓練可能であると同時に文脈に脆弱であるため、展開にはその両方の側面を考慮する必要があると述べている。
参考: arXiv cs.AI (アーカイブ) — 2026年8月27日 23:20 (JST)
原文ハイライト"Fabricated Evidence Makes LLM Agents Commit to the Unknowable"