arXivは7月16日(現地時間)、論文「Partition, Prompt, Aggregate: Statistical Self-Consistency in Language Models」を公開し、大規模言語モデル (LLM) の推定が基本的な確率論的整合性原則に広範に違反していると指摘した。この研究は、LLMがin-context学習において条件付き推論として解釈される場合に、統計的な自己整合性をどの程度遵守するかを調査。その過程で「マクロの誤謬」と名付けられたパターンも明らかにしている。
パトリック・ウルフ氏、トーマス・クライネ・ビューニング氏、アンドレアス・クラウス氏、セレスティン・メンドラー＝デュンナー氏らによるこの論文は、LLMの推定が全確率の法則などの基本的な確率論的恒等式を満たすべきであるという前提に基づいている。
研究チームは、バイナリツリーを評価基盤として利用するプロトコルを開発した。このプロトコルでは、母集団を再帰的に細分化された部分母集団に分割する。その後、LLMに部分母集団の記述をin-contextでプロンプトとして与え、得られた推定を母集団レベルの推定に集約。異なる粒度の分割間で比較分析を行う。
このプロトコルを様々な問題領域と最先端のフロンティアモデルに適用した結果、基本的な整合性特性に広範な違反が見られたという。特に、ペルソナプロンプティングの詳細な調査により、「マクロの誤謬」と呼ばれるパターンが明らかになった。これは、より細分化された部分母集団の応答から再構築された推定値が、直接的な母集団レベルの推定値よりも、人間の参照データとより良く一致することが多いという現象である。この効果は、ツリー構造や推定タスクのバリエーション全体で持続することが確認され、暗黙的なプロンプティングによって部分的に回復可能であることも示された。
これらの発見は、モデルが関連する部分母集団の知識を持っているにもかかわらず、それを集約された推定値に確実に伝播できていないことを示唆している。研究チームは、このギャップが、統計的な自己整合性をLLMを評価するための未飽和で参照不要な基準として確立すると結論付けている。
参考: arXiv cs.CL — 2026年7月17日 02:59 (JST)