#NLP

arXiv、線形計画と凸最適化の新トークン化「ConvexTok」公開

arXiv cs.CLは2026年5月21日(現地時間)、自然言語処理（NLP）におけるトークン化の課題に対応する新アルゴリズム「ConvexTok」に関する論文を公開した。同アルゴリズムは線形計画法と凸最適化ツールを用い、既存手法が局所的な最適化にとどまるのに対し、語彙全体を包括的に考慮する。論文は、ConvexTokが従来の貪欲的なアプローチと異なる点を説明している。