Tag
11 件の関連記事
arXiv cs.CLは2026年9月30日(現地時間)、大規模言語モデル（LLM）のモデル融合を評価する新たなベンチマーク「FusionEval」を発表しました。このベンチマークは、複数の専門モデルの能力を単一モデルに統合するモデル融合の評価を目的としています。既存の評価が限定的であった思考連鎖推論やツール使用の側面を新たにカバーし、制御されたエキスパートプールと統一された評価スイートを提供。追加トレーニングの有無にかかわらず、多様な融合手法の分析を可能にします。これにより、モデル融合研究の進展に貢献することが期待されます。
Li Zhang氏らは10月19日(現地時間)、arXiv cs.CL上で、大規模言語モデル（LLM）の内部表現に、専門家が定義した26種のCATO要因が線形的に解読可能であることを示す研究結果を発表した。法務分野におけるLLMの知識組織の追跡が困難であるという課題に対し、Qwen3-1.7B、Qwen3-8B、およびGemma-2 2Bの3つのオープンモデルで調査。全てのモデルで26の要因が線形的に解読可能と確認された。
Ben Gubler氏らの研究チームは2026年3月24日(現地時間)、科学論文公開サイトarXiv cs.CLに論文を公開し、多言語トークナイザーの包括的な評価を目的としたオープンソースフレームワーク「Tokka-Bench」を発表した。このフレームワークは、100の自然言語と20のプログラミング言語を含む計120の言語、および30以上の書記体系に対応する。Tokka-Benchは、バイト/トークン比率やユニークトークンカバー率など、5つの補完的な指標を通じてトークナイザーの品質を多角的に評価し、既存の多言語比較評価における標準化された多指標フレームワークの不足に対処する。
arXiv cs.AIは2026年10月1日(現地時間)、Jundong Hu氏とShekar Ramachandran氏らの研究論文を公開した。大規模言語モデル(LLM)のプランナーを補完するマイクロタスクにおいて、市販の小規模言語モデル(SLM)が実務家定義の閾値を満たさない「適格性ギャップ」が存在すると報告している。Qwen3やLlama-3.xモデルを用いた評価では、テストされた全ての構成で合格に至らなかった。
arXiv cs.CLは2026年9月23日(現地時間)、臨床面接記録からの連続的な抑うつ度スコア予測において、データ不足の課題に対処する研究論文を発表した。同論文は、逐次的な低ランク適応 (LoRA) プロトコルを提案し、Qwen3バックボーンと言語や臨床パラダイムをまたぐクロススケール転移学習を適用している。この手法は、英語のDAIC-WOZデータセットで事前学習した後、中国語のPDCHデータセットでさらに微調整を行う。データが不足しているHAMD-17ターゲットにおいて、この逐次プロトコルはMAE、RMSE、およびmacro-$F_1$の点で最良の性能を達成したと報告されている。
Yuhan Wang氏らは8月31日(現地時間)、arXiv cs.CLで論文「PaperGym: Rubric-Centered Evolution for Research-Plan Generation」を公開し、研究計画生成のための統一フレームワーク「PaperGym」を発表した。同フレームワークは科学論文の構造を活用し、質問を研究目標と背景から、評価基準を手法と実験から導出。これにより基準漏洩を3.7%に抑え、Qwen3-8BモデルがResearchQAで73.48を記録し、既存モデルを上回る性能を示した。
arXiv cs.CLが2026年7月28日(現地時間)、強化学習における新しい蒸留手法「Relay On-Policy Distillation (Relay-OPD)」に関する論文を発表した。この手法は、従来のOn-policy distillation (OPD) が抱える「prefix failure」という課題を克服するために、教師モデルと学生モデルの挙動の非対称性を活用する。これにより、数学的推論ベンチマークにおいて既存手法を上回る性能を示し、トレーニングの効率も向上させた。
arXiv cs.LGが2026年7月2日(現地時間)に公開した論文「Program-as-Weights: A Programming Paradigm for Fuzzy Functions」は、自然言語の仕様からコンパクトでローカル実行可能なニューラルアーティファクトを生成する「fuzzy-function programming」パラダイムを提案した。このアプローチは、従来のルールベース実装が難しいプログラミングタスクにおいて、大規模言語モデル (LLM) API利用時の課題を解決することを目指している。
arXiv cs.LGは7月1日(現地時間)、研究論文「Is One Layer Enough? Training A Single Transformer Layer Can Match Full-Parameter RL Training」を発表した。この論文は、大規模言語モデル（LLM）の強化学習（RL）後学習において、Transformerモデルの単一の層のみを学習させることで、モデル全体の全パラメータを学習するのと同等か、それを上回る性能向上が得られる可能性を指摘している。既存のRLアプローチの前提に疑問を呈し、層ごとの学習効果を分析した点が特徴だ。
論文公開プラットフォームarXivのcs.CLカテゴリは2026年5月20日(現地時間)、トニー・リー (Tony Lee) 氏らが執筆した論文「Self-Verified Distillation: Your Language Model Is Secretly Its Own Synthetic Data Pipeline」を掲載した。本研究は、事前学習済み大規模言語モデル (LLM) が外部からのフィードバックなしに、ラベル付けされていないプロンプトのみで自己改善する新手法「Self-Verified Distillation」を提案。これにより数学、科学、コーディングといった推論分野でモデル性能の向上が報告されている。
NVIDIAは2026年5月23日(現地時間)、拡散言語モデル（DLM）を基盤とする新たなテキスト生成モデル「ネモトロン・ラボ・ディフュージョン（Nemotron-Labs Diffusion）」を発表した。従来の自己回帰型（AR）モデルとは異なり、このモデルは複数のトークンを並列で生成し、反復的に改善する方式を採用する。これにより、現代のGPUにおける計算モデルを効率的に活用し、ランタイム性能の大幅な向上と、既存テキストの修正能力を提供するとしている。