Together AIは2026年11月3日(現地時間)、AI推論向けに継続的な最適化を提供する「Together Compiler (TKCC)」を発表した。TKCCはエージェントとパーシステントエンジンを活用し、オープンモデルの最適化を24時間以内に実行する。トラフィック変動に応じて最大2.6倍のTPS向上を実現する。
TKCCは多様な推論ワークロードに対応するため、高スループットのエージェントを活用した継続的な最適化ループを導入している。フロンティアオープンソースモデル（Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flash）において、最大2.6倍高いTPSを達成した。また、SemiAnalysisのInferenceXベンチマークでは、MiniMax M3.1-Flashで1111 TPS、DeepSeek v4.1-Flashで1205 TPSを記録し、低レイテンシーで最先端の性能を示している。さらに、Llama 1Bバッチサイズ1のワークロードでは、既存のオープンソースメガカーネルを1.7倍上回る性能を発揮した。
Together Compilerは、エージェント最適化中の実験スループットを最大化し、GPUアイドル時間を最小化する「パーシステントエンジン」の採用を特徴とする。これにより、VLLM、SGLang、TRT-LLMのようなエンジンの起動・終了に伴う数十分のオーバーヘッドを排除し、エンジン起動時間を467秒から9.0秒に短縮した。また、実験スループットがベースラインの252倍向上した。
TKCCは、測定スループットと測定忠実度のバランスを取るため、複数のパーシステントエンジン層を使用する。加えて、カスタムのコストモデルを用いて並列化戦略（TP、EP、DCPなど）を選択し、最適な性能を引き出す。現在、Together Compilerは毎日数兆トークンの処理に利用されている。
参考: Together AI Blog — 2026年11月4日 09:00 (JST)
原文ハイライト"Together Compiler (TKCC), the first truly continual optimization loop that leverages high-throughput agents"