LIFTアーキテクチャ、Transformerの性能向上へ新境地
Dor Tirosh（ドール・ティロシュ）らは9月29日(現地時間)、学術論文公開サイトarXiv cs.CLにて、Latent Information Feedback Transformer（LIFT）と名付けられた新たなTransformerアーキテクチャと学習手法を発表した。これは、従来のTransformer言語モデルに内在するフィードフォワード型の情報伝達ボトルネックを事前学習段階で解消し、言語モデル（LMs）が生成ステップ間で状態を効率的に伝播できるようにする。実験結果では、LIFTが標準的なTransformerや他のベースラインを上回る性能を示し、次世代モデル開発の可能性を提示している。