論文投稿サイトarXivのコンピュータサイエンス機械学習分野（cs.LG）が2026年5月25日(現地時間)付けで報じたところによると、言語モデルが新しいタスクで訓練された際に以前のタスクの性能が低下する「忘却」現象について、その緩和策が研究により示された。従来の対策が非現実的であったのに対し、言語モデルが自身で生成したサンプルを再利用することで、この忘却をほぼ解消できるという。
研究論文によれば、モデルが新しいタスクを学習する際に以前の知識が失われる忘却は、機械学習モデルの一般的な課題です。従来、この忘却を軽減するには、以前のタスクの見本データを保存し、それを再利用する必要がありましたが、これは多くの場合実用的ではありませんでした。
今回の研究では、言語モデルが自身の訓練分布からデータを生成できる特性に着目。これらの自己生成されたサンプルが効果的なリプレイデータとして機能し、忘却をほぼ排除できることが示されました。このアプローチは、従来のデータ保存に依存しないため、より現実的な解決策となる可能性があります。
ただし、モデルに残された容量が少ない場合、忘却は依然として発生します。これは、飽和に近い状態で事前訓練されたモデルが、以前の知識を上書きすることなく新しい情報を吸収できないためです。
モデルの容量が制限要因でない状況では、学習率を低く設定することで忘却を抑制できますが、その代わりに訓練ステップが大幅に増加するというトレードオフがありました。リプレイの手法は、このトレードオフを解消し、忘却を起こさずに高速で高い学習率でのファインチューニングを可能にするとしています。
参考: arXiv cs.LG — 2026年5月26日 02:54 (JST)
原文ハイライト"self-generated samples serve as effective replay data, nearly eliminating forgetting"