ライアン・コトレル (Ryan Cotterell) 氏は7月23日(現地時間)、arXiv cs.CLに投稿した論文で、人間の言語単位の処理難易度が言語モデルのサプライザル関数であるとするサプライザル理論 (Surprisal theory) が、さらなる制約なくしては同義反復にすぎないと指摘した。同氏は、非負の難易度尺度に対して常に適切な言語モデルが存在するため、この理論が反証不可能な予測しか行わないと論じている。これにより、過去20年間心理言語学研究を支えてきた基盤への疑問を呈している。
ライアン・コトレル (Ryan Cotterell) 氏の論文は、サプライザル理論の根幹にある問題点を深く掘り下げている。サプライザル理論は、人間の言語処理における認知的難易度を、特定の言語モデルによって計算される「サプライザル」という情報理論的尺度で定量化しようとするものだ。しかしコトレル氏は、任意の非負の難易度尺度に対して、常にその尺度を人間の行動データに「完全に適合」させることができる言語モデルを構築することが可能であると数学的に示した。これは、理論がどのような経験的観察結果に対しても常に説明をつけられてしまう、すなわち反証不可能であるという重大な問題を提起する。
このような同義反復性が心理言語学コミュニティで長らく見過ごされてきた背景には、過去20年間の研究において関連する言語モデルは、訓練コーパスを生成した真の分布を表すものであるという暗黙の仮定が存在した。この仮定は、より優れたコーパス適合性を持つ言語モデルが、人間の行動データをより良く予測するという直感に基づいていた。つまり、言語モデルが現実世界の言語現象をどれだけ正確に捉えているかという尺度が、人間の認知処理の予測能力に直結すると考えられてきたのである。
しかし、近年の一連の実証研究は、この前提を覆し始めている。これらの研究では、統計的にコーパスへの適合度が非常に高いとされる最新の言語モデルであっても、必ずしも人間の処理難易度を予測する能力に優れているわけではないことが示されている。むしろ、一部のケースでは、より複雑で大規模なモデルが、人間の行動データを予測する能力において、より単純なモデルに劣るという結果も報告されている。この発見は、サプライザル理論が依拠してきた基盤、特に言語モデルの選択基準に根本的な疑問を投げかけるものだ。
コトレル氏は、サプライザル理論が単なるデータの「カーブフィッティング」に陥ることを避けるためには、理論に対する「合理主義的な介入」が不可欠であると結論付けている。具体的には、サプライザル理論を支える言語モデルの選択と構築において、経験論に基づかない新たな制約や仮定を導入する必要があるという。例えば、人間の認知システムに内在する記憶の制約、処理能力の限界、あるいは言語理解の特定の目標など、行動データそのものからは導き出せない、より深い認知科学的原理に基づいたモデルの定義が求められる。このような介入を通じて、サプライザル理論が持つ真の予測能力が引き出され、科学的に意味のある反証可能な仮説を生成できるようになるとしている。
この指摘は、心理言語学における計算論的モデルの構築と評価のあり方に、より厳密な理論的基盤を求める重要な契機となる可能性がある。単にデータへの適合度が高いモデルを選ぶのではなく、人間の認知プロセスに関する独立した理論的知見に基づいて言語モデルを制約することの重要性が強調されている。コトレル氏の論文は、今後の研究において、言語モデルと人間の言語処理との関係を再考するための新たな視点を提供するものと見られる。
参考: arXiv cs.CL — 2026年7月24日 02:54 (JST)
原文ハイライト"Surprisal Theory is Tautological (without Rational Grounding)"