ウスニーク・シン (Usneek Singh) 氏らは9月1日(現地時間)、インド系言語における大規模言語モデル (LLM) の語用論的理解能力を評価する初のベンチマーク「ヴァキアース (VakyArth)」を発表した。このベンチマークは、ヒンディー語、パンジャブ語、タミル語、マラヤーラム語に対応し、文脈や文化的慣習に基づく意味の解釈といった語用論的推論を診断的に評価することを目的としている。
ヴァキアースは、直示 (deixis)、発話行為 (speech acts)、含意 (implicature)、社会的語用論 (social pragmatics)、談話の一貫性 (coherence) の5つの現象についてモデルを評価する。評価形式には、多肢選択問題 (multiple-choice questions)、自然言語推論 (natural language inference)、および翻訳 (translation) が採用されており、全ての項目はネイティブスピーカーによって作成された。
多様な系列とサイズの多言語LLMを対象とした評価の結果、インド系言語の言語的・文化的慣習に根ざした語用論的意味の理解において、一貫した失敗が確認された。分析では、言語とタスク間で体系的な違いがあることが示されている。例えば、全てのモデルと言語の組み合わせで、多肢選択問題の精度が自然言語推論の精度を上回った。
また、翻訳性能は語用論的理解を確実に追跡しないこと、インド・アーリア語 (Indo-Aryan languages) がドラヴィダ語 (Dravidian languages) に比べて翻訳において有利であることも明らかになった。自動評価指標は、特に含意と直示において、流暢でありながら語用論的に不忠実な出力を捉えきれない場合があることも指摘されている。本研究の知見はEMNLP 2026で発表される予定である。
参考: arXiv cs.CL — 2026年9月3日 13:00 (JST)
原文ハイライト"VakyArth: Evaluating Pragmatic Competence in LLMs across Indic Languages"