言語モデル新手法ELR、ワンループ時の性能課題を解消
ファイサル・ラダック (Faisal Ladhak) 氏らの研究チームは10月8日(現地時間)、潜在リカレント言語モデルが抱える性能課題を解決する新手法「Elastic Latent Recurrence (ELR)」を発表した。この手法は、従来のモデルで問題となっていた「ワンループ税」と呼ばれる、ワンループ時の性能低下を解消。同サイズの非リカレントモデルと同等のコストと精度を達成する。さらにループ数を増やすことで、推論計算量を伴いながらも精度を向上させることが可能になるという。