論文公開プラットフォームarXivは11月11日(現地時間)、大規模言語モデル (LLM) における「破滅的忘却」問題に対処する新たなフレームワーク「ICARE」を提案する研究を公開しました。ソン・ドゥオン氏らが発表したこの研究は、多様なタスクで学習する自然言語推論 (NLI) システムの適応性と性能向上を目指すものです。ICAREは、継続的な学習環境下でのモデルの知識保持能力を高めることを目的としています。
自然言語推論 (NLI) システムは、感情分析、ニュース分類、共参照解決など様々なタスクを通じて訓練されますが、継続的な多重タスク学習は、特に特定のラベルが不足しているドメインにおいて、以前に学習したタスクが失われる「破滅的忘却」を引き起こす可能性があります。また、過去のラベル付き事例を反復することで過学習を招き、システムが新しいカテゴリを分類する能力を阻害することが指摘されています。
これらの課題に対処するため、この研究ではICAREフレームワークを提案しています。ICAREは主に二つの要素で構成されます。一つはインスタンス選択モジュールで、これは表現学習に基づき、NLIシステムに提示する訓練事例を精密に選択します。もう一つは知識蒸留メソッドで、特徴レベルおよびロジットレベルの転送を通じてタスク間の知識転送を促進します。このメソッドは、プルーニング技術と最適化された目的関数を活用し、本質的な特徴レベルの知識と意思決定(ロジットレベル)の知識の両方を転送することで、新しいパターンに適応しながら破滅的忘却を軽減します。
ベンチマークテキスト分類データセットを用いた広範な評価により、ICAREの有効性が実証されました。このフレームワークは、目標とする精度を大幅に向上させ、「忘却メトリック」の削減を達成しています。これらの結果は、ICAREが多様なタスク全体で学習された知識を保持し、活用する能力を強固にし、最終的にNLIシステムの適応性と性能を高めることを示しています。
参考: arXiv cs.CL (アーカイブ) — 2026年11月20日 14:00 (JST)