言語モデルの方言バイアス、開発全段階で蓄積
Elle (エル) 氏らの研究チームは8月24日(現地時間)、米学術系サイトarXiv上で論文を公開し、現代の言語モデル (Language Models、LMs) における方言による性能差が、その開発パイプラインの全ての段階で発生していると指摘した。同研究は、意味は変えずに表面形式のみが異なる英語方言コーパスを使用し、LMsが標準アメリカ英語 (Standard American English、SAE) と方言テキストを意味的に同等と認識する一方で、下流の性能差に繋がる表現上のギャップが生じていることを明らかにした。