大規模言語モデル、情報不足時のベイズ事前分布活用メカニズムを解明
arXiv cs.LGは2026年9月1日(現地時間)、大規模言語モデル (LLMs) が情報不足時にトレーニングコーパスのユニグラム分布をベイズ事前分布として活用するメカニズムを解明する研究論文「The Geometry of Ignorance: LLMs Know When to Temper Bayesian Priors」を公開した。同論文は、その根底にあるunembedding geometryの存在と、この構造が複数のモデルファミリーに共通していることを指摘している。