学術論文リポジトリのarXivが2026年11月5日(現地時間)付けで報じた。ウラジミール・ベスコロヴァイニー (Vladimir Beskorovainyi) 氏の研究によると、Typed-Decisionモデルにおけるラベル表現の多様化は、未知語の認識精度を向上させる一方、略語や不透明なコードに対しては効果が限定的である。同研究では、3億700万パラメータを持つ多言語クロスエンコーダ「ルージェフ (Ru-Jev)」の2つのバージョンを比較し、その影響を詳細に分析した。
本研究は、Typed-Decisionモデルがリクエスト時に提供されるオプションを評価する際、モデル開発者が制御できないラベルの表現がその精度に与える影響という中心的な課題に取り組んだ。具体的には、13のロシア語タスクで学習された「ルージェフ (Ru-Jev)」の初期リリースと、ラベルを複数の表面形式で提示する拡張機能を追加した後期リリースを比較対象とした。
評価では、18のルーティングラベルの表現方法のみを変更し、10種類のラベル語彙を用いた。各質問に対しては5つ、一部では18の候補が設定された。主要な成果として、通常の単語や借用語（英語由来の専門用語、オフィススラング、部署名など）で構成される未知の語彙セットにおいては、拡張版モデルがあらゆる設定で精度が向上し、最大で0.24ポイントの改善が見られた。これら14件の精度向上効果のうち、11件はHolm補正後も統計的に有意なものとして確認された。
しかしながら、略語や不透明なコードに対する有意な精度向上は確認されなかった。略語においては改善が見られず、一部のクリーンなデータセットではむしろ精度が悪化する傾向も示された。不透明なコードにおいては、学習データに関連するラベルを除外すると、どちらのリリースも偶然以下の精度にとどまった。多くのケースで精度が向上した際にはリスクカバレッジエリアが減少したものの、18候補が設定された場合、専門用語やスラングにおける確信度の高いエラーが増加する傾向も示唆された。さらに、いずれのリリースも学習に用いられていない2つのデータセットでは、精度が-8.4ポイントから+5.6ポイントという大幅な変動を見せた。研究では、これら2つのリリースを比較する上で注意すべき4つの評価上の課題も報告されている。
参考: arXiv cs.CL (アーカイブ) — 2026年11月6日 03:31 (JST)