arXiv cs.CLは10月2日(現地時間)、論文「Stabilizing language models under continual learning via condition-anchored distillation」を公開し、継続学習における言語モデルの安定性を高める「コンディション・アンカー型生成的蒸留 (CAGD)」手法を発表しました。本手法は、新たな知識の学習時に過去の知識が失われる「壊滅的忘却」の課題を克服します。過去のプロンプトの一部と凍結された前モデルの予測分布を活用し、学習済み知識の消失を抑制することで、言語モデルの性能維持に貢献します。
本研究は、言語モデルが継続的に新たな情報に適応する際、以前学習したプロンプトに対する出力分布が変化する可能性に着目しています。特に、全ての古いプロンプトとそれに対応する応答のペアを記憶容量の観点から保持することが、非現実的または不可能であるという背景があります。
CAGD手法では、ごく一部の古いプロンプトセットを保持し、これを用いて凍結された以前のモデルの補完および生成状態を再構築します。これにより、モデルは新しいタスクを学習しながらも、過去の予測分布に一致させることを目指します。このアプローチは、通常の「リプレイ」戦略がしばしば混同しがちな三つの主要な役割を明確に分離します。これらは、「保護すべき挙動を選択する条件」の特定、「関連する状態を特定する教師生成」、そして予測がどのように変化するかを指定する「ソフトターゲット」の提供です。
この役割分離により、CAGDはより効率的かつ精密に継続学習下の言語モデルの安定化を図ります。具体的には、教師生成によって提供されるソフトターゲットを利用し、モデルが過去の知識を「再蒸留」することを可能にします。これにより、新しいタスクの学習が過去のタスクの性能に悪影響を及ぼすことを最小限に抑え、壊滅的忘却の問題に対処します。
実験では、219Mのマスク拡散言語モデルの継続的な適応において、CAGDの有効性が検証されました。結果として、CAGDは特定のタスク順序でfour-task final held-out lossを2.927から1.114へと大幅に削減し、またその逆順序では2.168から0.891へと大きく改善しました。さらに、教師生成によるサポートが同一の場合、同じソフトターゲットを使用することで、従来のハードリプレイと比較して最終平均損失を0.055低減することが確認されました。この損失低減の傾向は、SMDMやQwenなどの既存のモデルにおける新たな事実や自然な指示への適応においても持続することが示され、例えばGSM8KにおけるQwenの適応では、応答フォーマットへの準拠が維持されることが実証されました。これらの結果は、CAGDが多様な言語モデルとタスクにおいて、継続学習の安定性と効率性を向上させる強力な手法であることを示しています。
参考: arXiv cs.CL (アーカイブ) — 2026年10月7日 13:00 (JST)