オープンウェイトモデルKimi K3は2026年7月28日(現地時間)、そのアーキテクチャ詳細を公開した。Kimi K3は、前モデルKimi Linearの480億パラメータから2.8兆パラメータへと大幅に拡張され、現行のオープンウェイトモデルの中で最大規模となった。新アーキテクチャでは推論効率の向上が図られ、特に潜在的Mixture-of-Experts (LatentMoE)が主要なコンポーネントとして新たに導入されている。
オープンウェイトモデルKimi K3は、先行モデルであるKimi Linearを基盤としつつ、パラメータ数を480億から2.8兆へと飛躍的に拡大した。これにより、Kimi K3は現在のオープンウェイトモデルの中で最大規模を誇る。公開されたアーキテクチャ詳細によると、その設計思想はNemotron 3やDeepSeek V4など、他の主要モデルが重視する推論効率の向上に重点を置いていることが示された。
Kimi K3のアーキテクチャにおける最も顕著な変更点の一つは、潜在的Mixture-of-Experts (LatentMoE) の導入である。従来のMoE（Mixture-of-Experts）をLatentMoEに置き換えることで、大規模モデルにおける計算コストの削減と性能維持の両立を目指す。さらに、通常のアテンション機構も、マルチヘッド潜在アテンション (multi-head latent attention) やKimi Delta Attentionといった、より効率的なメカニズムに改良されており、これらも推論時の計算負荷軽減に寄与するとされる。
効率化以外の重要な変更点として、アテンション残差 (attention residuals) が挙げられる。これはKimi Linearにも既に組み込まれていた特徴であり、層間での残差パス接続にアテンションスコアを用いて重要度を動的に決定する。sebastianraschka.comの報告によれば、このアテンション残差は、検証損失と下流タスクのパフォーマンスをわずかながら一貫して改善する効果がある一方で、学習コストを約4%、推論コストを約2%増加させる。これらの数値は、性能向上と計算コストのバランスを考慮した設計判断を示す。
ポジショナルエンベディングの扱いにおいても、Kimi K3は独自のアプローチを採用している。全てのRoPE（Rotary Positional Embeddings）レイヤーを廃止し、代わりにNoPE (No Positional Embeddings) を全面的に採用した。このNoPEはKimi Linearから受け継がれた特徴であり、これまで複数のアーキテクチャでNoPEのみを使用する例はあったものの、フロンティアレベルのモデルにおいて全面的な採用はKimi K3が初めてと見られる。これは、モデルが位置情報を外部のエンベディングに依存せず、内部構造で処理する試みを示す。
さらに、Kimi K3はネイティブなマルチモーダルサポートを特徴としており、テキストだけでなく画像や音声など、複数のデータ形式を直接処理できる能力を持つ。
参考: sebastianraschka.com — 2026年7月28日 17:38 (JST)