arXiv、マスク言語モデリングに低ランクオートエンコーダ新手法
arXiv cs.CLは2026年9月8日(現地時間)、Narges Mokhtari (ナルゲス・モクタリ)氏らの研究論文「Manifold Projection and Iterative Autoencoder Refinement for Masked Language Modeling」を公開した。同論文は、Transformer（トランスフォーマー）ベースのマスク言語モデルにおいて、Attention（アテンション）メカニズムに代わる、低ランクボトルネックオートエンコーダを用いたデータミキシング手法を提案している。