学術論文リポジトリのarXiv cs.CLは11月6日(現地時間)、大規模言語モデル（LLM）が翻訳時に直面する語彙知識の衝突問題を評価した論文を公開した。この研究は、外部の語彙リソースがモデルの既存の語彙知識と競合する状況を分析するため、マンダリンから英語への翻訳タスクを構築。馴染みのある単語に新たな意味を付与し、そのモデルへの影響を検証している。
この研究では、プロンプトで与えられた意味を文脈知識（CK）と定義し、単語頻度、文脈、およびプロンプトのフレーミングがLLMの翻訳出力に与える影響を系統的に評価した。これは、LLMが新しい情報を与えられた際、その内部知識とどのように相互作用するかを理解することを目指している。
合計9つのLLMを対象とした評価では、CKへの依存度が、頻度が低いソース単語の場合や、与えられた意味を支持する文脈においてはより高くなることが示された。また、プロンプトのフレーミングを工夫することでCK依存度を低減できる場合があることも明らかになった。しかしながら、評価対象の9つのモデル中7つは、明示的に供給された意味を無視するよう指示されても、モデルが既に持つ文脈知識を優先する傾向が確認された。さらに、同一のモデルファミリー内では、より大規模なモデルであるほど、その出力において既存の文脈知識をより利用する可能性が高いという結果が得られた。
研究チームは、上記の結果をさらに深掘りするため、3つの追跡実験を実施した。これらの実験により、モーダル弱化（modal weakening）と呼ばれる手法がCK依存度を低下させることが示された。モーダル弱化とは、指示の確信度を弱めることで、LLMが柔軟に新しい知識を受け入れるように促す効果がある。また、プロンプトにおける情報の繰り返しがLLMの振る舞いに与える効果は、そのプロンプトのレイアウトに依存することも判明した。そして、LLMが情報を推論する能力が、モデルによって異なることも確認された。これらの実験結果は、LLMの翻訳における語彙知識衝突の複雑な様相を示している。
この制御された研究は、LLMの文脈知識への依存度が、与えられた条件やモデルの特性によってどのように変化するかを詳細に明らかにした。
参考: arXiv cs.CL (アーカイブ) — 2026年11月7日 02:44 (JST)