arXiv cs.AIが2026年10月27日(現地時間)付けで、「Rare, Relevant, and Still Wrong: How Memory Fails LLM Group Decisions」と題する研究論文を公開した。同論文は、大規模言語モデル (LLM) グループの議論が最終的な意思決定者向けの短い記憶に圧縮される際に、どのような情報が保持されるべきかについて考察している。最も稀な主張を保持するヒューリスティックと、意思決定基準に関連する主張を保持するヒューリスティックが、hidden-profileタスクにおいて予測可能な形で失敗することを指摘した。
本研究は、Anouar Imel、Imad Charradi、Abderrahman Sghir、Khalil El Khammarの4氏によって発表された。研究では、サポート、デコイ、無関係な事実の所有権を交差させ、テキストを固定した60のテンプレートからなる診断ベンチマーククロスプロファイル (CrossProfile)を導入し、480タスクで検証を行った。
Qwen2.5-7B、Llama-3.1-8B、および2つのDeepSeekモデルを用いた実験では、関連性による選択が「デコイ」を再 admisión するため、完全な関連性フィルターでも古典的なhidden-profile構成において、最も稀な情報優先の選択に23～31ポイント劣ることが示された。また、最も稀な情報優先の選択は平均してランダムな選択よりも優れておらず、稀な事実がたまたま有用な場合にのみ効果を発揮すると報告している。
意思決定モデルは、社会的証明 (social proof)の形態として、多くのエージェントに帰属する事実に余分な重みを与えるという第三の失敗を示す。帰属タグを削除するか、行順序を固定してランダムに再割り当てすることで、古典的な構成での精度が13～24ポイント向上した。自然な議論においては、記憶が作用する前に証拠が失われるため、完全なトランスクリプトはメモがない場合よりも低い精度をもたらすとしている。
参考: arXiv cs.AI — 2026年10月28日 02:49 (JST)
原文ハイライト"both heuristics fail in predictable places."