動的評価が言語モデルの推論中学習を検証：文脈損失を効果的に低減
arXivは10月10日(現地時間)、サーヤ・サカ (Surya Saka)氏らの研究論文を公開した。同論文は、言語モデルが読んでいるテキストに対し勾配ステップを踏む「動的評価」が、文書全体の次トークン損失を低減させることを明らかにした。特にQwen3-1.7B、Qwen3-4B、Gemma-4-E4Bなどのsoftmax-attentionモデルでは次トークン損失が5-8%減少し、既存モデルを上回る性能を示した。一方、Hybrid Gated-DeltaNet (ハイブリッド・ゲートデルタネット) モデルでは改善が1%未満に留まった。