arXiv cs.CLが2026年10月14日(現地時間)付けで報じたところによると、Khan Mahi Al Atahar氏らの研究チームは、大規模言語モデル（LLMs）の多言語抽象型要約における包括的な評価結果を発表した。この研究では、8つのLLMを英語とベンガル語のXL-Sumテストセットでゼロショットベンチマーク評価し、言語間でモデルの性能に大きな変動があることを明らかにした。特に、英語で優れた性能を示すモデルがベンガル語では必ずしも同様の優位性を維持しない点が指摘されている。
この研究は、抽象型要約が言語間で課題を抱え、特に低リソース言語設定において言語品質と事実の一貫性が乖離する可能性に着目した。Khan Mahi Al Atahar氏、Nazifa Tasneem氏、Ajwad Abrar氏らのチームは、クローズドソースおよびオープンウェイトのLLM 8種を対象に、サイズを揃えた英語およびベンガル語のXL-Sumテストセットを用いた標準化されたゼロショットベンチマーク評価を実施した。
評価には、語彙的および意味的メトリクスに加え、参照なしの事実性検証と多次元的なLLM-as-a-Judge評価を組み合わせた手法が用いられた。これにより、多言語要約における表面的な品質と事実の信頼性の両面から包括的な分析が行われた。結果として、モデル性能に顕著な言語間変動が確認された。具体的には、GPT-5.6 Lunaが複数の英語の語彙的メトリクスでリードしたが、ベンガル語では同様の優位性を維持しなかった。ベンガル語では、LLaMA 3.3 70Bが最高のROUGEおよびBLEUスコアを達成し、Gemini 2.5 Flashが最も高いベンガル語の事実性スコアを記録した。
研究結果は、評価方法によってモデルのランキングが異なることを示しており、多言語要約の評価において単一のメトリクスに依存することの限界を浮き彫りにした。また、英語での強力な要約性能が必ずしもベンガル語に転移するわけではないことが実証され、低リソース言語に対する包括的な評価フレームワークの必要性が強調された。
参考: arXiv cs.CL (アーカイブ) — 2026年10月15日 13:00 (JST)
原文ハイライト"Gemini 2.5 Flash obtains the highest observed Bengali factuality score."