arXiv cs.CLは2026年10月20日(現地時間)、ヌール・アボ・モク (Noor Abo Mokh) 氏ら8名の研究者が、方言アラビア語における数学的推論を評価する初のベンチマーク「DAR-MGSM (Dialectal Arabic Multilingual Grade School Math) Benchmark」を導入する研究論文を発表したと報じた。本研究は、低リソース言語、特に方言アラビア語における数学的推論の評価不足解消を目指すものだ。
DAR-MGSMは、多段階の推論を必要とする算数文章問題 (math word problems, MWPs) で構成されるベンチマークである。このベンチマークは、現代標準アラビア語 (Modern Standard Arabic, MSA) に加え、五つの主要なアラビア語方言を対象としている。
ベンチマークは二つの並行バージョンで提供される。一つは翻訳のみ (translated-only)バージョン、もう一つは地域ごとの実体や参照を適応させた翻訳および文化的地域化 (translated & culturally localized)バージョンである。
研究チームは、このDAR-MGSMを用いて、11のアラビア語中心および多言語の大規模言語モデル (large language models) を評価した。結果として、地域化されたバージョンではモデルの性能が全体的に低下する傾向が見られ、文化的適応がもたらす課題が浮き彫りになったと報告されている。この影響の度合いはモデルによって異なり、特にアラビア語中心モデルは地域化に対して異なる感度を示した。
メカニズム的解釈可能性分析 (mechanistic interpretability analysis) では、同じMWPの翻訳版と地域化版が、たとえ全体的な精度が類似していても、異なる内部推論経路を誘発することが示された。この研究は、数学的推論の性能が言語的多様性のみならず、文化的文脈にも依存するという結論を示唆している。
参考: arXiv cs.CL (アーカイブ) — 2026年10月21日 02:50 (JST)
原文ハイライト"Benchmarking Arabic Dialects for Math Problems"