ベンダー・製品

Tencent、2950億パラメータの「Hy3」をApache 2.0で公開 MoE採用、利用制限撤廃へ

Tencentは7月6日(現地時間)、オープンウェイト言語モデル「Hy3」に関する詳細を公表した。Hy3は2950億パラメータを持つ大規模モデルでありながら、Mixture-of-Experts(MoE)アーキテクチャの採用により、任意のトークン処理にアクティブに稼働するパラメータを約210億に抑えている。地理的および利用制限のないApache 2.0ライセンスでの提供は、オープンモデル市場に新たな選択肢をもたらすと見られる。

リサーチ・論文

Tencent、2950億パラメータのMoEモデル「Hy3」をApache 2.0で公開

Tencentは7月6日(現地時間)、Apache 2.0ライセンスに基づく大規模言語モデル「Hy3」を公開した。Simon Willison's Weblogが報じた。Hy3は、総パラメータ数2950億を誇るMixture-of-Experts(MoE)モデルで、アクティブパラメータ210億、MTPレイヤーパラメータ38億を持つ。Tencent Hy Teamが開発したこのモデルは、同規模の既存モデルを凌駕し、パラメータ数で2〜5倍の主要なオープンソースモデルに匹敵する性能を持つとTencentは説明している。