学術論文リポジトリ「arXiv cs.CL」が2026年5月6日(現地時間)付けで報じたところによると、事前学習済み言語モデル (LMs) が文法性に関して文字列の尤度とは異なる暗黙的な区別を獲得している可能性が示された。研究者らは線形プローブを用いた内部表現の分析を通じて、この文法性の区別が人間が作成したベンチマークや複数の言語において、尤度に基づく判断を上回る性能を示すことを発見した。
この研究は、人間の言語において文法性と尤度が異なる概念であることを前提に、LMsが文法的に整ったテキストを生成し、厳密に制御された最小ペアでは文法的および非文法的文を区別できる一方で、文字列の尤度だけでは全体として文法的・非文法的文を明確に区別できない点に着目した。
研究チームは、文法的および人工的な非文法的文のデータセットを自然言語テキストコーパスに摂動（perturbations）を加えることで作成し、そのデータセットを用いてLMsの内部表現に線形プローブ（linear probe）を訓練した。このシンプルな文法性プローブは、人間が厳選した文法性判断ベンチマークに対して汎化（generalizes）し、LMsの尤度に基づく文法性判断よりも優れた性能を示した。
ただし、意味的な妥当性ベンチマーク、すなわち最小ペアの両方が文法的で妥当性のみが異なる場合においては、プローブの性能は文字列尤度よりも劣った。また、英語で訓練されたプローブは、他の多くの言語の文法性ベンチマークにおいても文字列尤度を上回り、非自明な交差言語汎化（cross-lingual generalization）を示した。さらに、プローブスコアは文字列尤度とは弱い相関しか示さなかった。
これらの結果は、言語モデルがその隠れ層内で文法性の暗黙的な区別をある程度獲得していることを示唆している。
参考: arXiv cs.CL — 2026年5月7日 02:57 (JST)
原文ハイライト"LMs acquire to some extent an implicit grammaticality distinction within their hidden layers."