Elle (エル) 氏らの研究チームは8月24日(現地時間)、米学術系サイトarXiv上で論文を公開し、現代の言語モデル (Language Models、LMs) における方言による性能差が、その開発パイプラインの全ての段階で発生していると指摘した。同研究は、意味は変えずに表面形式のみが異なる英語方言コーパスを使用し、LMsが標準アメリカ英語 (Standard American English、SAE) と方言テキストを意味的に同等と認識する一方で、下流の性能差に繋がる表現上のギャップが生じていることを明らかにした。
この研究は、方言による性能バイアスが、単一の段階で生じるのではなく、トークン化、事前学習、事後学習、推論という言語モデリングの各ステップで蓄積されることを詳細に示した。
具体的には、LMsが方言テキストを不平等にエンコードし続ける実態が明らかになった。既存のサブワード分割方式が方言バイアスの一因である可能性が指摘されてきたが、文字レベルのカウンターファクチュアルトークナイザーを用いた実験でも、入力と出力の非対称性や方言の精度ギャップが解消されないことが判明した。
事前学習の段階では、方言間のペアが、全く関係のないSAE文書のペアよりも発散的な勾配更新をモデルに誘発することが示された。これは、モデルが意味的に同等な方言コンテンツを、無関係なSAE文書よりも学習しにくいことを示唆している。つまり、モデルが方言を「異なるもの」として扱ってしまう傾向が、学習プロセスの早期から存在していることを示唆する。
さらに、事後学習（ファインチューニング）の段階では、報酬モデルが文脈依存で不安定な方言の嗜好を示すことが確認された。孤立したAAVE（アフリカ系アメリカ人英語）固有のトークンに対してはSAE固有のトークンよりも高い値を割り当てる一方で、完全な推論文脈においては、特定のタスクやモデルに依存する形で方言に対するペナルティが課されることが明らかになった。これにより、特定の文脈やタスクにおいて、方言が不当に評価を下げられる可能性が示された。
これらの包括的な発見は、方言税 (dialect tax)と呼ばれる性能低下が、言語モデリングプロセスの特定の一点のみで発生するのではなく、開発パイプラインの全てのステップにおいてエンコードされ、最終的に蓄積される複合的な問題であることを強く示唆している。この論文はEMNLP 2026で発表される予定だ。
参考: arXiv cs.CL (アーカイブ) — 2026年8月27日 13:00 (JST)
原文ハイライト"The Dialect Tax: Dialectal Biases Persist throughout the Language Modeling Pipeline"