Tag
6 件の関連記事
Yuhan Wang氏らは8月31日(現地時間)、arXiv cs.CLで論文「PaperGym: Rubric-Centered Evolution for Research-Plan Generation」を公開し、研究計画生成のための統一フレームワーク「PaperGym」を発表した。同フレームワークは科学論文の構造を活用し、質問を研究目標と背景から、評価基準を手法と実験から導出。これにより基準漏洩を3.7%に抑え、Qwen3-8BモデルがResearchQAで73.48を記録し、既存モデルを上回る性能を示した。
arXiv cs.CLが2026年7月28日(現地時間)、強化学習における新しい蒸留手法「Relay On-Policy Distillation (Relay-OPD)」に関する論文を発表した。この手法は、従来のOn-policy distillation (OPD) が抱える「prefix failure」という課題を克服するために、教師モデルと学生モデルの挙動の非対称性を活用する。これにより、数学的推論ベンチマークにおいて既存手法を上回る性能を示し、トレーニングの効率も向上させた。
arXiv cs.LGが2026年7月2日(現地時間)に公開した論文「Program-as-Weights: A Programming Paradigm for Fuzzy Functions」は、自然言語の仕様からコンパクトでローカル実行可能なニューラルアーティファクトを生成する「fuzzy-function programming」パラダイムを提案した。このアプローチは、従来のルールベース実装が難しいプログラミングタスクにおいて、大規模言語モデル (LLM) API利用時の課題を解決することを目指している。
arXiv cs.LGは7月1日(現地時間)、研究論文「Is One Layer Enough? Training A Single Transformer Layer Can Match Full-Parameter RL Training」を発表した。この論文は、大規模言語モデル（LLM）の強化学習（RL）後学習において、Transformerモデルの単一の層のみを学習させることで、モデル全体の全パラメータを学習するのと同等か、それを上回る性能向上が得られる可能性を指摘している。既存のRLアプローチの前提に疑問を呈し、層ごとの学習効果を分析した点が特徴だ。
論文公開プラットフォームarXivのcs.CLカテゴリは2026年5月20日(現地時間)、トニー・リー (Tony Lee) 氏らが執筆した論文「Self-Verified Distillation: Your Language Model Is Secretly Its Own Synthetic Data Pipeline」を掲載した。本研究は、事前学習済み大規模言語モデル (LLM) が外部からのフィードバックなしに、ラベル付けされていないプロンプトのみで自己改善する新手法「Self-Verified Distillation」を提案。これにより数学、科学、コーディングといった推論分野でモデル性能の向上が報告されている。
NVIDIAは2026年5月23日(現地時間)、拡散言語モデル（DLM）を基盤とする新たなテキスト生成モデル「ネモトロン・ラボ・ディフュージョン（Nemotron-Labs Diffusion）」を発表した。従来の自己回帰型（AR）モデルとは異なり、このモデルは複数のトークンを並列で生成し、反復的に改善する方式を採用する。これにより、現代のGPUにおける計算モデルを効率的に活用し、ランタイム性能の大幅な向上と、既存テキストの修正能力を提供するとしている。