Pietro Di Nicco、Lucio La Cava、Andrea Tagarelliの3氏は10月23日(現地時間)、arXiv cs.CLに論文を発表し、新しいトークン化手法「Adaptive Frequency Threshold Byte Pair Encoding (AdaBPE)」を導入した。自然言語と構造化された記号コーパスを組み合わせたこの手法は、言語モデルの入力処理における従来のサブワーディングトークン化の課題に対応し、特にドメイン固有言語コンテンツの効率とパフォーマンス向上を目指す。
現代の言語モデルは入力処理の離散単位を定義するためByte Pair Encoding (BPE)などのサブワーディングトークン化に依存する。しかし、これらの手法は空白を固定的な意味境界として扱うため、複数の単語表現やLaTeXのような形式言語の構造化された環境など、空白をまたぐ概念に対応できないという限界があった。近年のスーパーワードトークン化手法は空白の制約を緩和しようとしているものの、多くはトークン長や、十分に表現されていないドメイン固有言語の特定のニーズを考慮しない、貪欲な頻度駆動マージに依存している。
Pietro Di Nicco、Lucio La Cava、Andrea Tagarelliの3氏が提案するAdaBPEは、適応的な頻出パターンマイニングアプローチを活用する。この手法は二重の動的性を特徴とする。まず、候補トークンの長さに基づいて最小頻度閾値を調整することで、頻繁な短いパターンが優遇されるのを防ぐ。次に、一般言語パターンと形式言語パターン（例としてLaTeXを挙げる）を区別するため、そのタイプに基づいて閾値を適応させる。
これにより、トレーニングデータのごく一部しか占めていない場合でも、LaTeXのようなドメイン固有の表記に語彙容量を効率的に割り当てることが可能になる。研究チームは、AdaBPEをLaTeXと自然言語にまたがる5つのデータセットで評価した。その結果、エンコーディング効率とドメイン固有コンテンツにおける下流言語モデルのパフォーマンスにおいて一貫した向上が見られ、一般言語のパフォーマンスを損なうことはなかった。
参考: arXiv cs.CL (アーカイブ) — 2026年10月24日 02:21 (JST)