arXiv cs.LGは2026年9月1日(現地時間)、大規模言語モデル (LLMs) が情報不足時にトレーニングコーパスのユニグラム分布をベイズ事前分布として活用するメカニズムを解明する研究論文「The Geometry of Ignorance: LLMs Know When to Temper Bayesian Priors」を公開した。同論文は、その根底にあるunembedding geometryの存在と、この構造が複数のモデルファミリーに共通していることを指摘している。
Toni J.B. Liu、Jiajun Bao、Yizhou Liu、Gurbir Arora、Nicolas Boullé、Raphaël Sarfati、Christopher J. Earlsの各氏が執筆したこの研究では、言語モデルのunembedding matrix内に、トレーニングコーパスのユニグラム分布を符号化する単一の方向が存在することが示された。この方向は、モデルが不確実な場合に依拠するベイズ事前分布として機能し、direction of ignoranceと名付けられている。
このdirection of ignoranceは、「Llama」「Qwen」「Gemma」「Pythia」を含む0.4Bから405Bパラメータにわたる4つのモデルファミリー全てで確認された。研究では、最終的な予測状態をこの方向に投影することで、トークンごとのprior loading factor (λ)が得られると説明されている。このλは、コンテキストがより情報を含むようになるにつれて着実に減少することが経験的に示された。
さらに、この投影により、予測状態がtempered Bayesian updateの2つの直交ベクトルに分解されることが判明した。これらは、指数λで調整されたユニグラム事前分布と、コンテキスト駆動の尤度 (likelihood) に正確に対応する。この幾何学的・確率論的解釈はλを校正し、モデルサイズやファミリー間で比較可能なものにした結果、大規模モデルほど高コンテキスト条件下での事前分布への依存度が低い傾向が示された。研究者らは、direction of ignoranceが予測の振る舞いに因果的に影響を及ぼし、λを調整することでKLダイバージェンスにおけるユニグラム事前分布への予測の偏りを操作できることを実証している。
参考: arXiv cs.LG — 2026年9月4日 13:00 (JST)
原文ハイライト"LLMs Know When to Temper Bayesian Priors"