ブラス・エウヘニオ・ヴィコ・サラテ (Blas Eugenio Vicco Zarate) 氏らは11月16日(現地時間)、継続的強化学習(continual reinforcement learning)における壊滅的忘却(catastrophic forgetting)を緩和する新たな手法「エボリューショナリー・ニューロプラスティック・エージェント (Evolutionary Neuroplastic Agent, ENA)」を発表した。この研究は、arXiv cs.LGを通じて公開されたもので、ENAは進化論的な探索により生成された専門家ネットワークを再利用可能な記憶として活用し、環境の変化に対する適応能力の向上を目指す。
ENAのアーキテクチャと機能
ENAは、環境が変化しても過去の学習内容を効率的に保持するメカニズムを導入している。その核となるのは、勾配ベースの最適化を使用せず、進化論的な探索を通じて小型のニューラルネットワークを生成するアプローチだ。この進化プロセスによって、異なる動的レジーム(環境状態)に対応する専門家ネットワークが形成される。
検出された動的レジームに応じて適切なポリシーを選択し、それらをアーカイブされた記憶として保持する。さらに、ベイズポリシー再利用(Bayesian Policy Reuse)メカニズムを通じて、これらのアーカイブされたポリシーを必要に応じて取得し、適用することで、新たなタスクへの適応と既存知識の保持を両立させる。この再利用可能な記憶の活用により、エージェントは過去の経験を効果的に引き継ぎ、壊滅的忘却の影響を最小限に抑えることを目指す。
非定常環境での評価
ENAの有効性は、非定常な特性を持つ二つの代表的な環境、CartPoleとHalfCheetahにおいて評価された。これらの環境は、学習中に環境パラメータが変化するため、エージェントが過去の知識を忘れずに新しい状況に適応する能力が試される。
CartPole環境におけるアブレーション研究では、ENAの完全なアーキテクチャは、30回の試行において5つの異なるテスト環境全体で平均83.2%の成功率を達成した。この結果は、より困難なCartPole環境の学習において、完全なアーキテクチャが最も一貫した保持能力を示したことを意味する。さらに、選択アブレーション研究を通じて、専門家ネットワークを選択する際のルールがエージェントの全体的な性能に大きく影響を与えることが示唆された。
より複雑な物理環境であるHalfCheetahにおいても評価が行われた。その結果、評価されたシーケンスにおいて、ENAはCartPole環境ではPPO(Proximal Policy Optimization)と比較して適応速度が遅い傾向を示し、HalfCheetah環境ではSAC(Soft Actor-Critic)と比較して獲得できるリターンが低いことが確認された。
結論と今後の課題
これらの評価結果は、ENAの完全なアーキテクチャに関するものであり、勾配フリー最適化が壊滅的忘却の緩和に貢献している可能性を示唆しているものの、それが保持能力の唯一の原因であることを単独で証明するものではない。また、この研究は、既存の他の継続的学習手法や強化学習アルゴリズムに対してENAが絶対的な優位性を確立するものではないとも言及している。この研究は、進化論的アプローチと専門家記憶の組み合わせが、継続的強化学習における壊滅的忘却問題への新たな解決策を提供しうる可能性を示した。
参考: arXiv cs.LG — 2026年11月17日 03:58 (JST)