Aimen Boukhari氏、自己教師あり言語学習の深層意味構造捕捉へ新手法提案
Aimen Boukhari氏は2026年4月16日(現地時間)、言語表現学習のための新たな自己教師あり事前学習手法を提案した。これは、Masked Language Modelling (MLM) が表層的なトークン同一性に基づく表現を促す課題に対応する。提案手法は、Joint Embedding Predictive Architectures (JEPA) に着想を得たハイブリッドな事前学習目的を採用し、JEPA形式の潜在空間予測損失と標準MLM目的を単一エンコーダー上で結合。深い意味構造を捉える表現の生成を目指す。