ハイブリッドAIの学習競合解明、アテンション阻害メカニズムをarXiv論文が提示
arXiv cs.CLは10月19日(現地時間)、論文「Competing Learning in Hybrid Architectures」を公開し、現代のハイブリッドAIアーキテクチャにおける「競合学習」現象の詳細を明らかにした。この現象は、線形時間リカーレンスとソフトマックス・アテンションが特定の機能を学習する際に互いに競合し、特にリカーレンスがリトリーバル機能を迅速に習得することで、アテンションの学習が阻害される傾向があることを指摘している。同論文は、この問題を緩和する段階的な学習手順を提案している。