リサーチ・論文

arXiv、SAE活用しLLMトピック監視フレームワーク『TopicScope』発表

arXiv cs.AIは2026年11月6日(現地時間)、大規模言語モデル(LLM)の応答に含まれる各トークンのトピックを識別する新フレームワーク「トピックスコープ (TopicScope)」を発表した。本研究は、スパースオートエンコーダー(SAE)の特徴量を活用し、生成過程でトピックが動的に変化する状況に対応可能な因果的トピック分類器の訓練に焦点を当てている。Gemma-3の1Bおよび4Bモデルを用いた実験では、事前充填段階で訓練されたモニターがデコード段階でも有効に機能することが示された。

リサーチ・論文

多言語トークナイザー評価枠組「Tokka-Bench」が公開、120言語に対応

Ben Gubler氏らの研究チームは2026年3月24日(現地時間)、科学論文公開サイトarXiv cs.CLに論文を公開し、多言語トークナイザーの包括的な評価を目的としたオープンソースフレームワーク「Tokka-Bench」を発表した。このフレームワークは、100の自然言語と20のプログラミング言語を含む計120の言語、および30以上の書記体系に対応する。Tokka-Benchは、バイト/トークン比率やユニークトークンカバー率など、5つの補完的な指標を通じてトークナイザーの品質を多角的に評価し、既存の多言語比較評価における標準化された多指標フレームワークの不足に対処する。