arXivは2026年5月20日(現地時間)、リソースが限られた環境の小型言語モデル（SLMs）における継続学習（CL）での「壊滅的忘却」問題に対処する新フレームワーク「MIITA」に関する論文を公開した。MIITAは、限られたストレージで教師あり継続学習を実現し、SLMsが実世界の刻々と変化するニーズに適応するための重要な進化を支援する。この研究は、制約ある環境でSLMsが継続的に学習し、新しい情報を取り込むための新たな道筋を示す。
小型言語モデル（SLMs）は、エッジデバイスや組み込みシステムなど、計算リソースが限られた環境でのAI応用において重要な役割を担う。しかし、これらのモデルが実世界で継続的に新しいデータから学習しようとすると、古い知識を忘れてしまう「壊滅的忘却」という深刻な問題に直面する。従来の継続学習手法は、多くの場合、大規模なメモリや計算能力を必要とし、SLMsのリソース制約とは相容れないのが現状だった。
こうした課題に対し、今回arXivで発表された論文では、新たな継続学習フレームワーク「MIITA」（Memory-Induced Inference-Time Adaptation）が提案されている。MIITAは、過去の教師あり経験をコンパクトな補正方向プロトタイプとして、意味的アンカーとともに効率的に保存する。これにより、記憶に要するストレージを最小限に抑えながら、過去の知識の再利用を可能にする。
MIITAの最大の特徴は、推論時にモデルを適応させる点にある。推論時には、意味的および不確実性に基づく手がかりを利用してこれらのプロトタイプを検索する。検索された補正方向は、ゲーテッドな一時的隠れ状態適応を通じてモデルに適用される。このアプローチにより、モデルのバックボーンを更新したり、追加のプロンプトを拡張したり、あるいはテスト時にバックプロパゲーションを実行したりすることなく、過去の教師情報を非破壊的に再利用できるようになる。これは、既存の多くの継続学習手法が、モデル全体の再学習や大幅な変更を伴うことと比較して、SLMsにとって極めて効率的かつ実用的な利点である。
提案された設計は、一次損失削減、不確実性ガイド付き検索、および古い段階の知識を保持するための方向カバレッジに関連する堅牢な理論的分析によって裏付けられている。様々な教師あり継続学習設定での広範な実験結果は、MIITAが固定されたメモリ予算の下で最終的なパフォーマンスを一貫して改善し、壊滅的忘却を効果的に緩和することを示している。
この技術は、計算リソースが極めて限定されるIoTデバイス、スマートセンサー、あるいは組み込みAIシステムなどでのSLMsの応用範囲を大幅に広げる可能性を秘めていると見られる。例えば、産業用ロボットが生産ラインの新たな異常パターンをリアルタイムで学習したり、スマートホームデバイスがユーザーの新しい習慣を継続的に取り込んだりするシナリオが考えられる。また、医療分野では、新しい疾患データが継続的に追加される状況下で、SLMsが診断支援に用いられる際の適応能力向上に貢献するだろう。
MIITAは、既存のリプレイベースや正則化ベースの継続学習手法が抱える、メモリ消費や計算負荷の増大といった課題を、推論時適応という革新的なアプローチで克服する。特に、モデルのアーキテクチャや重みを頻繁に更新することなく、効率的に新しい知識を取り入れられる点は、実運用におけるメンテナンスコスト削減にも寄与すると考えられる。この研究は、AIモデルが単に学習するだけでなく、実世界の動的な変化に自律的に対応し「進化」し続けるための重要な一歩を示唆しており、将来のパーソナライズされた、かつ汎用性の高いAIシステムの実現に向けた基盤技術となる。
この論文の著者は、Dong Li氏、Yanchi Liu氏、Xujiang Zhao氏、Wei Cheng氏、Zhengzhang Chen氏、Xintao Wu氏、Zhong Chen氏、Chen Zhao氏、Haifeng Chen氏の9名である。
参考: arXiv cs.AI (アーカイブ) — 2026年7月28日 13:00 (JST)