言語モデルの内部に文法性の暗黙的区別が存在か 研究論文が発表
学術論文リポジトリ「arXiv cs.CL」が2026年5月6日(現地時間)付けで報じたところによると、事前学習済み言語モデル (LMs) が文法性に関して文字列の尤度とは異なる暗黙的な区別を獲得している可能性が示された。研究者らは線形プローブを用いた内部表現の分析を通じて、この文法性の区別が人間が作成したベンチマークや複数の言語において、尤度に基づく判断を上回る性能を示すことを発見した。
Tag
#cs-CL
2 件の関連記事
Tag
2 件の関連記事
学術論文リポジトリ「arXiv cs.CL」が2026年5月6日(現地時間)付けで報じたところによると、事前学習済み言語モデル (LMs) が文法性に関して文字列の尤度とは異なる暗黙的な区別を獲得している可能性が示された。研究者らは線形プローブを用いた内部表現の分析を通じて、この文法性の区別が人間が作成したベンチマークや複数の言語において、尤度に基づく判断を上回る性能を示すことを発見した。
arXiv cs.CLは5月6日(現地時間)、Mina Gabriel氏による研究論文が、大規模言語モデルにおける「幻覚」(Hallucination)検出の新たな手法「ファーストトークン信頼度 (phi_first)」の有効性を示したと報じた。この手法は、単一のグリーディデコードにおける最初の内容を持つ回答トークンの上位Kロジットの正規化エントロピーから算出される。従来のサンプリングベースの手法と比較し、低コストで同等以上の性能を発揮することが明らかになった。