Transformer Attentionコスト削減 新手法「SAS」でエンドツーエンド最適化
ズイウェイ・リー (Zhiwei Li)氏らは9月11日(現地時間)、事前学習済みTransformerの累積Attention（アテンション）コストを削減する新たなスパースAttentionメカニズム「SAS (Simple Attention Sparsification)」を提案した。これは、同日付けでarXiv cs.CLに掲載された論文で報告されたもの。既存手法が抱えていたコンテキストランキングと予測への影響の不整合を解消し、言語モデリングロスとのエンドツーエンド最適化を実現することで、計算効率と性能の向上を図る。