ヴァキアース、インド系LLM語用論的評価ベンチマーク発表
ウスニーク・シン (Usneek Singh) 氏らは9月1日(現地時間)、インド系言語における大規模言語モデル (LLM) の語用論的理解能力を評価する初のベンチマーク「ヴァキアース (VakyArth)」を発表した。このベンチマークは、ヒンディー語、パンジャブ語、タミル語、マラヤーラム語に対応し、文脈や文化的慣習に基づく意味の解釈といった語用論的推論を診断的に評価することを目的としている。
Tag
2 件の関連記事
ウスニーク・シン (Usneek Singh) 氏らは9月1日(現地時間)、インド系言語における大規模言語モデル (LLM) の語用論的理解能力を評価する初のベンチマーク「ヴァキアース (VakyArth)」を発表した。このベンチマークは、ヒンディー語、パンジャブ語、タミル語、マラヤーラム語に対応し、文脈や文化的慣習に基づく意味の解釈といった語用論的推論を診断的に評価することを目的としている。
arXiv cs.CLは2026年6月5日(現地時間)、既存のサブワードトークナイザーが無視してきた形態素構造、特に語根と接辞の関係性を考慮した新しいアルゴリズム「SuTRA (Structurally-Unified Tokenization with Root Awareness)」が提案されたと明らかにした。形態素が豊富なインド系言語における「Morphological Shattering」と呼ばれる問題の解決を目指しており、この研究に合わせてヒンディー語、マラーティー語、グジャラート語向けの新しい形態素セグメンテーションデータセットも公開された。