#Looped-transformers

arXiv、Looped MoEのスケーリング法則論文公開 推論効率を倍増

arXivは2026年9月30日(現地時間)、再帰構造を持つTransformerとMixture-of-Experts(MoE)を組み合わせたモデルのスケーリング法則「Loop Scaling Laws」に関する論文を公開した。Yanbei Chen氏らが執筆し、従来は再帰性とスパース性を別々に扱っていたスケーリング法則に対し、モデルサイズやデータ量と共に両特性を統合的に扱う枠組みを示した。