Moonshot AIは2026年7月27日(現地時間)、2.8兆パラメータのMixture-of-Expertsモデル「Kimi K3」のオープンウェイトを公開した。これにより、企業や組織はK3を自社インフラに展開し、外部APIを介さずに、Kimi K3が提供する推論能力を直接利用できるようになる。この公開には、MXFP4量子化されたウェイト、トークナイザー、モデル設定、Kimi Delta Attention (KDA) のリファレンス実装が含まれており、vLLMとSGLang用の推論コード例も提供されている。
K3のウェイトは、Moonshot AIのHugging Face組織のmoonshotai/Kimi-K3-MXFP4リポジトリでApache 2.0ライセンスの下、公開された。これらのウェイトは、Moonshot AIが内部でMXFP4量子化を使用しているのと同形式で、ダウンロードサイズは約594 GBであり、ほぼ損失のない品質を達成するとされている。
自社ホスティングのハードウェア要件として、GPUメモリは最低約700 GB、推奨約1.4 TBが必要となる。アクセラレーター数では、フル精度運用の場合、最低64基のH100 (8x H100の8ノード) が求められる。MXFP4量子化運用の場合の推奨は16基のH100または8基のH200である。ネイティブMXFP4対応ハードウェアの場合、8基のBlackwell B200または4基のAMD MI400が推奨される。システムRAMは最低1 TB、推奨2 TB、NVMeディスクは最低1 TBの空き容量、推奨2 TBの空き容量がそれぞれ必要。インターコネクトは400 Gbps (NVLINK / InfiniBand) が最低限必要とされ、推奨は800 Gbpsとなっている。
K3はKimi Delta Attention (KDA) を使用しており、これは標準的なアテンションメカニズムのメモリコストを大幅に削減し、128Kの有効コンテキストウィンドウを可能にする。vLLM 0.7.0以降にはKDAのネイティブサポートが含まれている。ウェイトはHugging Face Hub CLIを使用してダウンロード可能で、ダウンロードにはHugging Faceのモデルページでライセンス契約への同意が必要となる。
Moonshot AIは、多くの組織にとってK3の自社ホスティングはデータ主権に関わる決定であると指摘している。中国企業が運用するクラウドホスト型APIにプロンプトを送信する場合、データは中国のデータ規制、具体的には個人情報保護法 (PIPL)、データセキュリティ法 (DSL)、および越境データ転送セキュリティ評価要件の対象となる可能性がある。金融、ヘルスケア、防衛、法律など、個人を特定できる情報を取り扱うセクターの組織は、こうしたコンプライアンス上の義務に直面するため、自社インフラでのホスティングは、これらの懸念を排除できる。
原文ハイライト"Kimi K3 Open Weights Are Here: How to Self-Host the 2.8T-Parameter Model"