arXiv cs.CLは2026年6月5日(現地時間)、既存のサブワードトークナイザーが無視してきた形態素構造、特に語根と接辞の関係性を考慮した新しいアルゴリズム「SuTRA (Structurally-Unified Tokenization with Root Awareness)」が提案されたと明らかにした。形態素が豊富なインド系言語における「Morphological Shattering」と呼ばれる問題の解決を目指しており、この研究に合わせてヒンディー語、マラーティー語、グジャラート語向けの新しい形態素セグメンテーションデータセットも公開された。
自然言語処理において、単語をより小さな単位に分割するトークナイザーは、モデルの性能を左右する重要な要素とされている。しかし、既存の頻度ベースのサブワードトークナイザーは、統計的圧縮を最適化する一方で、単語の根幹をなす形態素構造を無視する傾向にある。このアプローチは、特にヒンディー語（Hindi）、マラーティー語（Marathi）、グジャラート語（Gujarati）のような形態素が豊富なインド系言語において、Morphological Shatteringと呼ばれる深刻な問題を引き起こすことが指摘されている。Morphological Shatteringとは、語根と接辞が恣意的に分割され、単語が過剰に断片化される現象を指す。
こうした問題に対し、今回提案された「SuTRA」は、形態素を意識した新しいアルゴリズムとして設計されている。SuTRAは、基本的な単位が複雑な正書法上の音節であるアクシャラ（aksharas）の不可分性を保持しながら、形態素境界を越える結合に対してペナルティを課すことで、従来のトークナイザーが抱える課題に対処する。これにより、言語の形態素構造が維持され、単語の意味的な整合性が保たれることが期待される。
研究チームは、SuTRAの有効性を検証するために、ヒンディー語（Hindi）、マラーティー語（Marathi）、グジャラート語（Gujarati）の新しい形態素セグメンテーションデータセットをリリースした。このデータセットは、SuTRAがMorphological Shatteringをいかに効果的に低減するかを示す上で重要な役割を果たすと見られる。
実験結果によれば、SuTRAはMorphological Shatteringの低減に成功し、既存のバイトペアエンコーディング（BPE）と比較して顕著な性能向上が確認された。具体的には、形態素アライメントを示す指標であるBoundary F1スコアで最大+14.7%の改善を達成した。また、意味回復性の面でも、ヒンディー語（Hindi）において+34%の向上が示された。これらの構造的な改善は、機械翻訳タスクにおいて平均+8.08 chrF2の改善をもたらすことが報告されており、SuTRAがより高精度な言語処理を可能にする可能性が示唆されている。
本研究は、2026年に開催される予定の国際会議Interspeech 2026での採択が決定している。
参考: arXiv cs.CL (アーカイブ) — 2026年8月20日 13:00 (JST)
原文ハイライト"Structurally-Unified Tokenization with Root Awareness"