Together AI（トゥゲザーエーアイ）は2026年8月21日(現地時間)、同社のブログ記事を通じて、大規模言語モデル「GLM-5.3（ジーエルエム5.3）」と「GPT-5.6 Sol（ジーピーティー5.6ソル）」を、ソフトウェアエンジニアリングベンチマーク「DeepSWE（ディープスウィー）」で比較した結果を公開した。この検証では、単一試行におけるGPT-5.6 Solの優位性と、複数試行および費用対効果におけるGLM-5.3の強みが明らかになった。さらに、両者を組み合わせたカスケード方式が、性能と費用効率の双方で最も優れた結果を示すことが示された。
Together AIは、大規模言語モデル（LLM）のソフトウェアエンジニアリングタスクにおける能力を評価するベンチマーク「DeepSWE」を用いて、GLM-5.3とGPT-5.6 Solの比較検証を実施した。
DeepSWEは、実際の開発環境を模倣した113の複雑なタスクで構成されており、Together AIは各タスクに対して各モデルで4回の試行を実施。合計904ロールアウトという広範な検証を行った。その結果、初回試行（pass@1）では、GPT-5.6 Solが72.7%の解決率を達成し、GLM-5.3の69.0%を3.7ポイント上回る優位性を示した。
しかし、試行回数を増やすと状況は変化した。複数回試行を許容するpass@2では、GLM-5.3が81.1%を記録し、GPT-5.6 Solの81.0%とほぼ同等となった。さらに、4回試行を許容するpass@4では、GLM-5.3が87.6%で、GPT-5.6 Solの85.8%を1.8ポイント上回り、逆転した。
費用面では、GLM-5.3が1ロールアウトあたり3.99ドルと、GPT-5.6 Solの8.37ドルに比べて2.1倍安価であることが判明した。これにより、100ドルあたりの解決タスク数では、GLM-5.3が17タスクであるのに対し、GPT-5.6 Solは9タスクにとどまり、GLM-5.3の優れた費用対効果が浮き彫りになった。
実行速度と安定性に関しては、GPT-5.6 Solが1ロールアウトあたり平均19分、61ステップでタスクを完了し、GLM-5.3の35分、124ステップよりも高速かつ少ないステップ数で処理を終えた。出力トークン数もGPT-5.6 Solが60kであるのに対し、GLM-5.3は80kであった。一方で、失敗時の挙動を分析すると、GPT-5.6 Solが失敗時に既存のテストスイートを破壊する確率が20%であったのに対し、GLM-5.3は11%に抑えられていた。
両モデルの得意分野はタスクタイプやプログラミング言語によって異なっていた。GLM-5.3はJavaScriptで90%、Rustで70%の解決率を記録し、これらの言語でGPT-5.6 Solを上回った。対照的に、GPT-5.6 SolはPythonで74%、Goで79%、TypeScriptで66%の解決率を示し、これらの言語で優位性を示した。また、プロトコル準拠のタスクでは、GPT-5.6 Solが59%に対し、GLM-5.3は44%と差が見られた。
これらのモデル間の特性の違いを利用し、GLM-5.3を最初に実行し、テストが失敗した場合にのみGPT-5.6 Solにエスカレートする「カスケード」方式を適用した。この方式では、DeepSWEタスクの85.9%を解決し、1タスクあたり6.61ドルのコストで達成された。これはGPT-5.6 Sol単独の解決率72.7%（コスト8.37ドル）と比較して、解決率が13ポイント高く、かつ費用も抑えられる、効率的かつ高性能なアプローチであることが示唆された。
参考: Together AI Blog (アーカイブ) — 2026年8月21日 09:00 (JST)