Moonshot AI、2.8兆パラメータのKimi K3を公開 100万トークン対応オープンMoEモデル
Moonshot AI (ムーンショットAI) は7月16日(現地時間)、2.8兆パラメータを持つオープンなMixture-of-Experts (MoE) モデル「Kimi K3 (キミ・ケイスリー)」を発表した。ネイティブなビジョン能力と100万トークンのコンテキストウィンドウを備え、同社はこれを世界初のオープン3Tクラスモデルと称している。Kimi K3は、Kimi Delta Attention (KDA) (キミ・デルタ・アテンション) とAttention Residuals (AttnRes) (アテンション・レジデュアルズ) という二つのアーキテクチャ更新に基づいて構築された。