Together AIは2026年7月28日(現地時間)、Dedicated Model Inferenceの新しい構成を発表した。同プラットフォームは、エンドポイント、デプロイメント、およびモデル設定の三つの要素から成り立ち、これらを容量認識型トラフィック分割によって連携させる。この新アーキテクチャにより、ロールアウト、A/Bテスト、シャドウ実験、ゼロダウンタイムでの変更が可能になる。
Together AIのDedicated Model Inferenceは、エンドポイント、デプロイメント、設定の三つのリソースモデルに基づいている。エンドポイントはアプリケーションが呼び出す安定した名前であり、デプロイメントは特定のモデルとハードウェアの組み合わせでレプリカを実行する。設定はエンジン、GPUタイプ、並列処理、最適化プロファイル（スループット、レイテンシ、バランス）を定義する不変のレシピである。
容量認識型トラフィック分割は、これらのエンティティを連携させ、リクエストのルーティングを決定する。ルーティングは、各デプロイメントの容量を「重み × 準備完了レプリカ数」で計算し、この容量に比例してトラフィックを割り当てる。これにより、レプリカ数に応じてトラフィックが自動的に調整され、自動スケーリングが容易になる。例えば、デプロイメントのレプリカ数が増加すれば、自動的に比例してより多くのトラフィックを吸収する。
Together AIのサポートモデルカタログには、ベンチマーク済みのデプロイメントプロファイルが付属しており、ユーザーはゼロから設定を作成する必要はない。設定の選択肢には、accelerator_type、accelerator_count、最適化、topologyなどが含まれ、特に最適化プロファイルでは、レイテンシ、スループット、バランスの選択肢が提供される。
参考: Together AI Blog — 2026年7月29日 09:00 (JST)
原文ハイライト"A capacity-aware traffic split ties these three entities together."