Together AIは2026年7月25日(現地時間)付けのブログ記事で、大規模言語モデルKimi K3とGPT-5.6 SolのDeepSWEベンチマークにおける性能比較結果を発表した。単一試行での解決率（pass@1）ではGPT-5.6 Solが72.7%でKimi K3の68.5%を上回ったが、複数試行での解決率（pass@k with k > 1）ではKimi K3が優位性を示した。
この比較によると、Kimi K3はpass@2で82.0%、pass@4で89.4%を記録し、それぞれGPT-5.6 Solの81.0%と85.8%を上回った。また、ロールアウトあたりのコストはKimi K3が4.65ドルであるのに対し、GPT-5.6 Solは8.37ドルであった。100ドルあたりの解決タスク数ではKimi K3が14.7件、GPT-5.6 Solが5.3件となり、Kimi K3は約2.8倍の費用対効果を示した。
DeepSWEベンチマークは、モデルのソフトウェアエンジニアリング能力を様々なタスクタイプとプログラミング言語で評価するものである。プログラミング言語別では、Goで両モデルは同率の性能を示した。Python、TypeScript、JavaScriptではGPT-5.6 Solが優位であった一方、RustではKimi K3が先行した。
両モデルはタスクの解決および失敗において異なるパターンを示す（相関0.46）。この特性を利用し、Kimi K3で最初に試行し、失敗した場合にGPT-5.6 Solにエスカレートするルーティング戦略を用いることで、約85.6%の解決率を達成できるとされている。これは単独モデルの性能を上回り、かつGPT-5.6 Sol単体よりも低コストでの解決が可能である。Kimi K3はオープンウェイトモデルとして提供されている。
参考: Together AI Blog (アーカイブ) — 2026年7月26日 09:00 (JST)
原文ハイライト"Kimi K3 vs GPT-5.6 Sol is close on DeepSWE pass@1"