多言語トークナイザー評価枠組「Tokka-Bench」が公開、120言語に対応
Ben Gubler氏らの研究チームは2026年3月24日(現地時間)、科学論文公開サイトarXiv cs.CLに論文を公開し、多言語トークナイザーの包括的な評価を目的としたオープンソースフレームワーク「Tokka-Bench」を発表した。このフレームワークは、100の自然言語と20のプログラミング言語を含む計120の言語、および30以上の書記体系に対応する。Tokka-Benchは、バイト/トークン比率やユニークトークンカバー率など、5つの補完的な指標を通じてトークナイザーの品質を多角的に評価し、既存の多言語比較評価における標準化された多指標フレームワークの不足に対処する。