Kimi Teamは2026年7月27日(現地時間)、大規模言語モデルの新たな旗手となる「Kimi K3」モデルを、学術論文公開サイトarXivで発表した。このモデルは、総パラメータ数2.8兆、アクティブ化パラメータ1040億のMixture-of-Experts (MoE) アーキテクチャを採用し、ネイティブな視覚能力と業界でも屈指の100万トークンに及ぶコンテキストウィンドウを特徴とする。既存モデルを凌駕する性能と効率性を目指した技術革新が注目されている。
Kimi K3の核となる技術革新の一つは、情報フローを根本的に改善するKimi Delta Attention（KDA）とAttention Residualsの導入にある。従来のアテンション機構が抱える、長文入力における計算コストの増大や、情報の希薄化といった課題に対し、KDAはより効率的かつ的確な情報選択を可能にする。これにより、特に100万トークンという広大なコンテキストウィンドウを扱う際に、モデルが関連性の高い情報に焦点を当て、長期的な依存関係を正確に把握する能力が飛躍的に向上した。
このKDAは、Stable LatentMoEと呼ばれるMoEアーキテクチャと、改良されたトレーニングおよびデータレシピと組み合わせることで、Kimi K2と比較してモデル全体の「スケーリング効率」を約2.5倍向上させている。2.8兆の総パラメータ数を持ちながら、実際の推論時には1040億のアクティブ化パラメータのみを使用するMoEの特性とKDAの効率的な情報処理が融合することで、大規模モデルでありながらトレーニングと推論の両面で高い効率性を実現している。これは、最先端のモデル開発における計算資源の制約緩和に貢献すると評価できる。
トレーニング後の段階では、汎用的な知能タスクに加え、エージェント機能やコーディング領域に特化した強化学習が施されている。これにより、Kimi K3は複数の推論レベルに対応し、構成的な汎化能力と堅牢な長期実行能力を獲得した。具体的には、複雑な指示に従ったタスク実行や、複数のステップにわたる問題解決において、一貫性と信頼性の高いパフォーマンスを発揮することが期待される。
Kimi K3を支えるインフラ面でも複数の分野で進歩が見られる。KDAのアルゴリズムとシステムの協調設計、効率的なメモリ管理を伴うエキスパート並列トレーニング、および展開の革新が挙げられる。これらは、テラバイト級のデータを効率的に処理し、数兆パラメータ規模のモデルを安定してトレーニング・運用するための基盤技術であり、今後の大規模AI開発のベストプラクティスを示唆する。
広範な評価スイートを用いたテストでは、Kimi K3が長期コーディング、エージェントタスク、知識ベースの質問応答、推論、視覚タスクにおいて最先端レベルの性能を達成したことが確認されている。論文の発表によると、Kimi K3の全体的な性能は、Claude Fable 5やGPT-5.6 Solといった強力なプロプライエタリモデルには若干及ばないものの、評価スイート内で他のオープンモデルおよび一部のプロプライエタリモデルを一貫して上回る結果を示している。これは、特に「オープンモデル」として提供される点において、その競争優位性を際立たせる。
Kimi Teamは、将来の研究を促進し、フロンティアインテリジェンスのより広範な展開と採用を加速するため、Kimi K3の「完全なモデルウェイト」をリリースしている。これは、研究コミュニティや企業が、特定のAPIに依存することなく、自由にモデルをダウンロードし、自身の環境でカスタマイズや改良を行うことを可能にする。このオープンソース戦略は、AI技術の民主化を促進し、新たなアプリケーションやサービスの創出を加速させる可能性を秘めている。特に、競合する大手テック企業がプロプライエタリモデルに注力する中、Kimi K3のオープンな提供は、AIエコシステム全体のイノベーションを駆動する重要な動きと位置付けられる。
参考: arXiv cs.CL (アーカイブ) — 2026年7月28日 01:49 (JST)