リサーチ・論文

Typed-Decisionエンコーダ研究:未知語認識向上も略語・コードは課題

学術論文リポジトリのarXivが2026年11月5日(現地時間)付けで報じた。ウラジミール・ベスコロヴァイニー (Vladimir Beskorovainyi) 氏の研究によると、Typed-Decisionモデルにおけるラベル表現の多様化は、未知語の認識精度を向上させる一方、略語や不透明なコードに対しては効果が限定的である。同研究では、3億700万パラメータを持つ多言語クロスエンコーダ「ルージェフ (Ru-Jev)」の2つのバージョンを比較し、その影響を詳細に分析した。

リサーチ・論文

arXiv、科学タスク向け連続深層言語モデル「Continuum-LM」論文公開

arXivは10月20日(現地時間)、Zhaoxin Fan(ツァオシン・ファン)氏らの研究チームが、科学分野の課題解決に特化した新しい大規模言語モデル「Continuum-LM(コンティニュアム・LM)」に関する論文を発表したと報じた。このモデルは、既存の離散モデルとは異なり、連続的な隠れ状態の進化を特徴とし、8つの科学タスクにおいて平均厳密一致精度を最大10.96ポイント向上させることに成功した。

リサーチ・論文

Apple ML Research、LLM出力制御の有効性と流暢さのトレードオフを体系的に研究

Apple ML Researchは2026年9月(現地時間)、大規模言語モデル(LLM)の出力制御における有効性と流暢さのトレードオフに関する体系的な研究結果を発表した。この研究は、ターゲット概念の注入または除去に焦点を当てた既存手法の有効性評価において、生成品質が軽視されがちである現状を指摘。効率的な誘導手法が流暢さを著しく犠牲にする一方で、訓練パラダイムとの間に重要な相互作用があることを明らかにした。

リサーチ・論文

LLMのSAE特徴、自然言語で説明する「SAEVerbalizer」発表

ウェイハン・メン (Weihan Meng) 氏らの研究チームは8月13日(現地時間)、大規模言語モデル (LLM) から抽出されるスパースオートエンコーダー (SAE) 特徴を自然言語で説明するフレームワーク「SAEVerbalizer」を発表した。従来のSAE特徴は外部観測に依存し、解釈が表面的で計算効率も低いという課題があった。SAEVerbalizerは、SAEデコーダーの方向をLLMの表現に注入し、下流層をファインチューニングすることで、特徴の自然言語による説明を直接生成するアプローチを採用しており、SAE特徴の解釈性向上に寄与すると期待されている。

リサーチ・論文

非最適データからの模倣学習、言語批評フレームワークで行動計画の課題克服

Chih-Han Yangらは7月1日(現地時間)、arXivに論文「Language-Critique Imitation Learning from Suboptimal Demonstrations」を発表した。同論文は、最適ではないデモンストレーションから効率的に模倣学習 (Imitation Learning) を行うための新しい言語批評フレームワークを提案。従来の模倣学習が抱える、限定的なスカラー信号によるフィードバックの限界克服を目指す。