Together AI (トゥギャザーAI) は2026年8月1日(現地時間)、Moonshot AI (ムーンショットAI) が開発した大規模言語モデル（LLM）「Kimi K3 (キミ・ケイスリー)」の提供を開始しました。Kimi K3は2.8兆パラメータを持つ先進的なモデルで、Together AIはMoonshot AIチームと直接連携し、最先端モデルに匹敵する性能を提供すると発表しています。このモデルは、長期間のコーディング作業や深層推論といった高度なAIタスクに対応するよう設計されています。
Kimi K3は、Moonshot AIがこれまでに開発したモデルの中で最も高性能であり、複雑なコーディング作業、エンドツーエンドの知識処理、深層推論といった高度なAIタスク向けに設計されています。
Kimi K3の基盤となるのは、Kimi Delta Attention (KDA) と Attention Residuals (AttnRes) という二つのアーキテクチャ更新です。KDAは、非常に長いコンテキスト全体でアテンションを効率的にスケーリングするためのハイブリッド線形アテンションメカニズムであり、Kimiモデルとして初めて1Mコンテキスト長をサポートします。AttnResは、モデルの深さにわたって表現を選択的に取得するものです。
加えて、Moonshot AIはStable LatentMoE (ステーブル・レイテントMoE) フレームワークにより、Mixture-of-Experts (MoE) の疎性をさらに推進し、896個のエキスパートの中から16個を効率的に活性化させています。このレベルの疎性（トークンあたり約2%のエキスパートが活性化）では、ルーティングと最適化が主要な課題となるため、Quantile Balancing (クォンタイルバランシング)、Per-Head Muon (パーヘッドミューオン)、Sigmoid Tanh Unit (SiTU / シグモイド・タンエイチユニット)、Gated MLA (ゲーテッドMLA) といった複数の補助技術が、2.8兆規模での安定したトレーニングを可能にしています。
Together AI上でのKimi K3の利用は、OpenAI (オープンAI) 互換のAPIを通じて可能であり、公式のTogether Python SDKが提供されています。ユーザーはreasoning_effortフィールドをlow、high、maxの三段階で設定することで、推論の深さを制御できます。また、Instant mode (インスタントモード) も利用可能で、このモードでは推論トークンが課金されません。ストリーミング応答では、推論の過程を示すthinking_contentと最終的な回答であるcontentが別々に提供されます。視覚入力にも対応しており、複数の画像をURLまたはBase64形式で提供できます。リクエスト全体のサイズは100MBまでとなっています。構造化出力にはresponse_formatフィールドを使用し、json_schemaタイプとstrict: trueを設定することで、最終メッセージの内容を厳密にJSON形式に制約できます。
参考: Together AI Blog (アーカイブ) — 2026年8月1日 09:00 (JST)
原文ハイライト"efficiently activating 16 of 896 experts"