Moonshot AI (ムーンショットAI) は7月16日(現地時間)、2.8兆パラメータを持つオープンなMixture-of-Experts (MoE) モデル「Kimi K3 (キミ・ケイスリー)」を発表した。ネイティブなビジョン能力と100万トークンのコンテキストウィンドウを備え、同社はこれを世界初のオープン3Tクラスモデルと称している。Kimi K3は、Kimi Delta Attention (KDA) (キミ・デルタ・アテンション) とAttention Residuals (AttnRes) (アテンション・レジデュアルズ) という二つのアーキテクチャ更新に基づいて構築された。
Moonshot AIは、Kimi K3 (キミ・ケイスリー) がスパースなMixture-of-Experts (MoE) モデルであり、特に長期間のコーディング、ナレッジワーク、および推論のユースケースを想定していると説明している。Kimi Delta Attention (KDA) はハイブリッドな線形アテンション機構であり、100万トークンのコンテキストにおいてデコーディングを最大6.3倍高速化できる。Attention Residuals (AttnRes) はモデルの深さ方向における表現の選択的取得を可能にし、約25%のトレーニング効率向上を約2%の追加コストで実現する。
Kimi K3はStable LatentMoE (ステーブル・レイテントMoE) を採用しており、896のエキスパートのうち16を効果的に活性化する。また、Quantile Balancing (クオンタイル・バランシング)、Per-Head Muon (パーヘッド・ミューオン)、Sigmoid Tanh Unit (SiTU) (シグモイド・タンエイチ・ユニット)、Gated MLA (ゲーテッドMLA) などの技術も導入されている。これらの構造的変更とトレーニング手法の改善により、Kimi K2 (キミ・ケイツー) と比較して約2.5倍の全体的なスケーリング効率を実現している。
サービス提供面では、MXFP4 (エムエックスエフピーフォー) ウェイトとMXFP8 (エムエックスエフピーエイト) アクティベーションを用いた量子化対応トレーニングを適用し、広範なハードウェア互換性を確保。KDAがもたらす新たな課題に対応するため、vLLM (ブイエルエルエム) に実装を貢献したとMoonshot AIは述べている。
ベンチマーク性能では、Kimi K3はProgram Bench (プログラム・ベンチ)、SWE Marathon (スウィー・マラソン)、BrowseComp (ブラウズコンプ)、Automation Bench (オートメーション・ベンチ)、OmniDocBench (オムニドックベンチ) において他のテスト済みモデルを上回った。一方で、Claude Fable 5 (クロード・フェイブル・ファイブ) にはFrontierSWE (フロンティア・スウィー) とHLE-Full (エイチエルイー・フル) で、GPT 5.6 Sol (ジーピーティー・ファイブ・ポイント・シックス・ソル) にはDeepSWE (ディープ・スウィー) でそれぞれ及ばなかった。全体的なパフォーマンスは、Claude Fable 5やGPT 5.6 Solといった最も強力なプロプライエタリモデルにはまだ及ばないとMoonshot AIは言及している。
Kimi K3はKimi.com (キミ・ドット・コム)、Kimi Work (キミ・ワーク)、Kimi Code (キミ・コード)、およびAPI (エーピーアイ) を通じて利用可能である。APIアクセスはOpenAI SDKを通じてMoonshot AIのベースURLに対して行われる。料金はコンテキスト長による階層化がなく一律で、キャッシュヒット入力が100万トークンあたり0.30ドル、キャッシュミス入力が3.00ドル、出力が15.00ドルである。Moonshot AIは、コーディングワークロードにおいて90%を超えるキャッシュヒット率を報告している。
参考: marktechpost.com (アーカイブ) — 2026年7月17日 08:47 (JST)
原文ハイライト"K3 uses Stable LatentMoE, effectively activating 16 of 896 experts."