huggingface.co、ハイパーコネクションズの設計簡素化手法を公開
huggingface.coは11月12日(現地時間)、ハイパーコネクションズ (Hyper-Connections) の設計に関する論文「On the Design of Hyper-Connections: Simplification, Stability, and Scalability」を公開した。論文では、ハイパーコネクションズの高速な変種であるシンプルHC (SimpleHC) を導入。シンプルHCは、よりシンプルな設計を通じて繰り返されるメモリアクセスを削減し、訓練オーバーヘッドを最大のテスト幅でわずか2.4%に抑制しつつ、15Bおよび30BのMoEスケールでmHCと同等の性能を維持するとされている。