AdaBPE、適応的頻度閾値で言語モデルのトークン化を改善
Pietro Di Nicco、Lucio La Cava、Andrea Tagarelliの3氏は10月23日(現地時間)、arXiv cs.CLに論文を発表し、新しいトークン化手法「Adaptive Frequency Threshold Byte Pair Encoding (AdaBPE)」を導入した。自然言語と構造化された記号コーパスを組み合わせたこの手法は、言語モデルの入力処理における従来のサブワーディングトークン化の課題に対応し、特にドメイン固有言語コンテンツの効率とパフォーマンス向上を目指す。