Together AIは8月6日(現地時間)、大規模言語モデル「DeepSeek-V4 Flash 0731」と「GPT-5.6 Luna」を、ソフトウェアエンジニアリングタスクのベンチマークDeepSWEで比較評価した結果を発表しました。DeepSWEのpass@1スコアではGPT-5.6 LunaがDeepSeek-V4 Flash 0731を14ポイント上回りましたが、DeepSeek-V4 Flash 0731はタスクあたりのコストが約6分の1と安価であり、コスト効率では4.8倍の優位性を示しました。
Together AI（トゥゲザーAI）は、DeepSeek-V4 Flash 0731とGPT-5.6 Lunaの両モデルについて、合計900回のDeepSWEロールアウトを実行しました。
DeepSWEの公式スコアリングにおいて、GPT-5.6 Lunaはpass@1で67.2%を記録し、DeepSeek-V4 Flash 0731の53.3%に対し14ポイントの差をつけました。タスクあたりの平均コストを見ると、GPT-5.6 Lunaが0.61ドルであるのに対し、DeepSeek-V4 Flash 0731は0.10ドルと、大幅に低コストです。
DeepSeek-V4 Flash 0731は、100ドルあたりの解決数で532を達成し、GPT-5.6 Lunaの110を大きく上回ります。これはコスト効率において4.8倍の優位性を示します。また、DeepSeek-V4 Flash 0731は失敗時にリポジトリの既存テストスイートを破壊する割合が9%と報告されており、GPT-5.6 Lunaの15%と比較して低い割合でした。これは、一般的にGPTファミリーモデルに見られる15～20%と同水準です。
単体性能ではGPT-5.6 Lunaが優勢であるものの、DeepSeek-V4 Flash 0731を最初に実行し、失敗した場合にのみGPT-5.6 Lunaにエスカレートさせる「カスケード」方式を採用することで、78.9%のタスクを1タスクあたり0.385ドルで解決できるとされます。この方法はGPT-5.6 Luna単体での解決率（67.2%）よりも高く、コストも37%削減されます。これは、DeepSeek-V4 Flash 0731が初期タスクの約53%を低コストで処理するため、より高価なGPT-5.6 Lunaは難しい残りのタスクに限定されることに起因します。
参考: Together AI Blog (アーカイブ) — 2026年8月6日 09:00 (JST)