Together AIは2026年8月17日(現地時間)付のブログ記事で、プロダクション環境下で大規模言語モデル（LLMs）などのAIモデルをA/Bテストするための新機能を解説した。この機能は、ライブトラフィックを既存モデル（コントロール）と最大20の候補モデル（バリアント）に分割し、実際のユーザーからのフィードバックに基づいてモデルの性能を測定することを可能にする。トラフィックの分割割合は固定され、勝者モデルへのブルーグリーンロールアウトによる昇格をサポートする計画だ。
Together AIが提供を計画するこのA/Bテスト機能は、エンドポイントレベルでA/B実験ロジックを実行するように設計されている。これにより、アプリケーション層でA/Bテストを実装する際に生じがちな、インフラストラクチャとの密接な結合や、テスト対象グループ（コホート）分割のドリフトといった課題を解消すると同社は説明している。
近年、AIモデル、特にLLMの開発においては、実験室でのベンチマーク評価と実際のプロダクション環境での性能との間にギャップが生じることが課題となっている。LLM特有のハルシネーション（幻覚）問題や、予期せぬ応答の発生は、モデルが実環境でどのように振る舞うかを予測することを難しくしている。このA/Bテスト機能は、モデルの性能向上、コスト最適化、そして新しいモデルの安全性検証といった多様な目的で活用されることが期待されている。
具体的には、エンドポイントにアタッチされた実験が、厳密に一つのコントロールモデルと一つ以上のバリアントモデルを宣言し、それぞれにトラフィックのパーセンテージが割り当てられる。これらのパーセンテージは合計で100%となるよう設定され、トラフィックのルーティングを制御する。実験中のトラフィック分割は、基盤となるレプリカ数に依存しない固定の割合で行われるため、オートスケーリングによって測定値が変動するのを防ぐことができる。
モデルの評価には、プラットフォームレベルのメトリクス（遅延、エラー率、スループット）と、ユーザーの評価、リトライ回数、タスク完了率といったプロダクト側メトリクスを組み合わせて利用する。実験が完了し、バリアントが優れた性能を示して勝者と判断された場合、コントロールデプロイメントからバリアントデプロイメントへのブルーグリーンロールアウトを通じて昇格させる。もしバリアントが劣っていた場合は、実験を削除することでトラフィックは完全にコントロールモデルに戻る。さらに、実験中にバリアントの性能が予期せず劣化しても、その影響は当該コホートのみに限定され、コントロールモデルには影響を及ぼさない安全な設計となっている。この機能により、新しいプロンプトのテスト、ファインチューニングモデルの比較、異なる基盤モデル間の性能評価など、多岐にわたるユースケースでの活用が見込まれる。
参考: Together AI Blog (アーカイブ) — 2026年8月17日 09:00 (JST)