arXivは10月23日(現地時間)、大規模言語モデル（LLM）エージェントの意見シミュレーションに関する研究を発表した。同研究によると、ある主張とその補完的な主張に対する確率的報告の合計が1にならない不一致が確認された。Qwen3-4B、Llama-3.2-3B、Gemma-3-4Bの3つの小型オープンモデルを検証対象とし、複数の実験を通じて「補完一貫性」の欠如が示された。この結果は、LLMエージェントが信念を形成する際の基本的な信頼性について疑問を投げかけるものだ。
LLMエージェントの意見シミュレーションでは、各エージェントは自身の以前の確率と隣接エージェントが報告した確率を参照し、ある主張が真である確率を報告する。研究では、この数値がエージェント自身の立場を記述している場合、主張をその補完形に書き換え、すべての確率pを1-pに置き換えることで、補完的な回答が得られ、両報告の合計は理論上1になるはずだと仮定した。
しかし、2,304のエージェント状態から取得されたネットワークシミュレーションにおいて、Qwen3-4Bのペア報告は平均1.18に達した。また、AVeriTeC（エーヴェリテック）が提供する48の実際のファクトチェック主張に対しても、合計値は1を超過した。厳密に2つの結果のみが可能な24の環境を対象とした管理されたベンチマークでは、検証対象のこれら3モデルすべてで同様の不一致が確認された。この不一致は、同じ意味を持つ言い換えによって生じる変化よりも2〜10倍大きく、繰り返しのサンプリングやピアグループの規模、報告強度にかかわらず持続した。
研究では、補完的な状態から開始する2つの集団に報告をフィードバックした結果、集団は鏡像関係を維持せず、すべてのモデルで5ラウンド後にその乖離が正となった。各回答とそのペアとなる回答の補完を平均化することで、構造上の一貫性は回復し、2つの言い換えにわたる平均ブライア損失（Brier loss）は低下する。しかし、最終ラウンドで元の2つの言い換えのうちより良い方を上回ったのは、検証された3モデルのうち1つにすぎなかった。研究者らは、シミュレーションされた確率を信念として解釈する前に、言い換えに対する一貫性について独自のテストが必要であると指摘している。
参考: arXiv cs.AI — 2026年10月24日 01:44 (JST)