arXivは10月10日(現地時間)、サーヤ・サカ (Surya Saka)氏らの研究論文を公開した。同論文は、言語モデルが読んでいるテキストに対し勾配ステップを踏む「動的評価」が、文書全体の次トークン損失を低減させることを明らかにした。特にQwen3-1.7B、Qwen3-4B、Gemma-4-E4Bなどのsoftmax-attentionモデルでは次トークン損失が5-8%減少し、既存モデルを上回る性能を示した。一方、Hybrid Gated-DeltaNet (ハイブリッド・ゲートデルタネット) モデルでは改善が1%未満に留まった。
動的評価に関する先行研究では、ハイブリッドな線形アテンションアーキテクチャ、拡散言語モデル、および標準的な長文コンテキストベンチマークにおける挙動が未測定だった。今回の検証では、最後の4分の1ブロックのMLP出力射影に対し、128トークンチャンクあたり1回のSGDステップを適用し、2kトークンのウィンドウを使用している。
その結果、Qwen3-1.7B、Qwen3-4B、Gemma-4-E4Bといったsoftmax-attentionモデルが、文書全体での次トークン損失を5-8%低減させることを確認した。
一方、Qwen3.5-4BやQwen3.8-27BなどのHybrid Gated-DeltaNet (ハイブリッド・ゲートデルタネット) モデルでは、あらゆる学習率において改善が1%未満に留まっている。これは、線形アテンションブロックが既に同様の適応を遂行しているためと分析された。マスクド拡散モデルにおいても、学習率の低下と更新のクリップ後に効果が確認され、Nemotron-Diffusion-8B (ネモトロン・ディフュージョン・エイトビー) で8%、DiffusionGemma-26B (ディフュージョン・ジェマ・ツーシックスビー) で17-20の損失低減が報告された。
RULER (ルーラー)、BABILong (バビロング)、LongBench-v2 (ロングベンチ・ブイツー)、SCOTUS (スコータス)、HotpotQA (ホットポット・キューエー)、MuSiQue (ミュージック)、ContractNLI (コントラクト・エヌエルアイ)、citation completion (引用補完) といった複数のベンチマークにわたる検証では、コンテキスト切り捨てによって失われた精度が勾配適応によって回復しないことが判明した。この適応はスタイルと語彙に関するものであり、情報検索ではないと結論付けられている。
次トークン損失を用いて事実を書き込む場合、事実自体よりもプロンプト形式が記憶される傾向が見られた。チャットプロンプトでのリコール率は30%であったのに対し、インコンテキストでは80%に達した。また、これによりGSM8Kスコアが36-38ポイント低下した。モデル自身の結論に基づく判断を低ランクアダプターに蒸留することで、GSM8Kスコアを変化させることなくインコンテキストの天井に達する結果も得られ、100ゲーム中では0.83および0.88に対し0.84および0.88という結果を示している。
参考: arXiv cs.LG (アーカイブ) — 2026年10月28日 13:00 (JST)
原文ハイライト"Can Language Models Learn While They Think? Testing Gradient Adaptation Across Architectures"