arXiv、大規模言語モデルの知識更新分離を可能にする「EngramEdit」を提案
arXiv cs.CLは10月7日(現地時間)、大規模言語モデル (LLM) において、事実知識と汎用計算の機能を分離することで、知識更新の効率化と正確性を高める新手法「EngramEdit (エングラムエディット)」が提案されたと発表した。この手法は、モデルの基盤となるTransformer backbone (トランスフォーマーバックボーン) を固定したまま、共有埋め込みの相互干渉によって発生していた従来の知識更新における課題を解決することを目指す。EngramEditは、条件付きメモリを活用し、特定の知識更新が他の既存知識や推論能力に与える悪影響を最小限に抑える設計となっている。