#語用論

ヴァキアース、インド系LLM語用論的評価ベンチマーク発表

ウスニーク・シン (Usneek Singh) 氏らは9月1日(現地時間)、インド系言語における大規模言語モデル (LLM) の語用論的理解能力を評価する初のベンチマーク「ヴァキアース (VakyArth)」を発表した。このベンチマークは、ヒンディー語、パンジャブ語、タミル語、マラヤーラム語に対応し、文脈や文化的慣習に基づく意味の解釈といった語用論的推論を診断的に評価することを目的としている。