Tencentは7月6日(現地時間)、オープンウェイト言語モデル「Hy3」に関する詳細を公表した。Hy3は2950億パラメータを持つ大規模モデルでありながら、Mixture-of-Experts（MoE）アーキテクチャの採用により、任意のトークン処理にアクティブに稼働するパラメータを約210億に抑えている。地理的および利用制限のないApache 2.0ライセンスでの提供は、オープンモデル市場に新たな選択肢をもたらすと見られる。
Tencentは、以前の4月プレビュー版でライセンスから除外されていたEU、UK、South Koreaへの制限を撤廃した。これにより、Apache 2.0ライセンスのもと、より広範な開発者コミュニティがHy3を利用できるようになる。
Hy3のMoEアーキテクチャは、192の専門サブネットワーク「experts」と、各トークンに最適な専門家を選択する「router」コンポーネントで構成される。トップ8ルーティングを採用しており、各トークンに対して192の専門家の中から8つが選ばれ、それらのみが計算処理を実行する。この設計により、モデルの実行コストは210億パラメータのミッドサイズモデルに近いものとなり、効率的な運用が可能とされている。
追加機能として、複数のトークンを一度に予測するMulti-Token Prediction（MTP）レイヤー（38億パラメータ）を搭載し、vLLMやSGLangなどのフレームワークと組み合わせることで生成速度を向上させる。また、約25万トークンのコンテキストウィンドウに対応し、BF16ウェイトで約598GB、FP8量子化バージョンで約300GBのフルサイズを持つ点も特徴だ。さらに、計算負荷を調整できる推論モード「no-think」「low」「high」が選択可能で、開発者は要求に応じて速度と品質のバランスを調整できる。
Tencent自身の報告によるベンチマークでは、Hy3はSWE-Bench Multilingualで75.8、SWE-Bench Proで57.9を記録し、DeepSeek V4 ProやGLM-5.2といった競合モデルと互角、または一部で優位な性能を示した。特にDeepSWEでは46.2とDeepSeek V4 Proの28.0を大きく上回っている。また、幻覚率が12.5%から5.4%に、常識エラー率が25.4%から12.7%に改善されたと報告されている。270人の人間専門家による評価では、GLM-5.1の2.51を上回る2.67点を獲得した。
ただし、これらのベンチマーク数値はTencent自身の自己報告値であり、新規リリースモデルに対する独立した検証には時間を要すると見られる。Hy3の地理的・利用制限撤廃を伴うApache 2.0ライセンスでの提供は、既存のオープンウェイトモデルと並び、オープンソースLLM市場の競争をさらに激化させる可能性がある。MoEアーキテクチャを導入した大規模モデルの効率的な提供は、競合技術と比較して、より多様な開発環境での利用を促進する潜在的な影響を持つと専門家は見てる。
参考: atalupadhyay.wordpress.com — 2026年7月8日 19:21 (JST)