Together AIは2026年8月21日(現地時間)、ソフトウェアエンジニアリング能力を評価するベンチマーク「DeepSWE」を用いて、同社のモデルであるGLM-5.3とClaude Fable 5の比較評価結果を公開しました。この評価により、両モデルのpass@1スコアはほぼ同等であるものの、複数回試行を許容するpass@kの指標ではGLM-5.3が優位に立ち、かつロールアウトあたりのコストがClaude Fable 5より大幅に低いことが明らかになりました。
Together AIが実施した評価では、GLM-5.3とClaude Fable 5の性能とコストを比較するため、合計904回のDeepSWEロールアウト（各モデル452回）が行われました。
単一試行での精度を示すpass@1スコアでは、Claude Fable 5が69.7%に対し、GLM-5.3は69.0%と、統計的に同等と見なされる差でした。しかし、複数回の試行を許容するpass@kの指標ではGLM-5.3が優位性を示しています。pass@2ではGLM-5.3が81.1%、Claude Fable 5が77.1%を記録し、pass@4ではGLM-5.3が87.6%、Claude Fable 5が84.1%となりました。
コスト効率の面では、GLM-5.3はロールアウトあたり3.99ドルであるのに対し、Claude Fable 5は21.63ドルと、GLM-5.3の方が5.4倍低いコストで利用できることが判明しました。100ドルあたりの解決タスク数で比較すると、GLM-5.3が17タスクを解決できるのに対し、Claude Fable 5は3タスクに留まります。
プログラミング言語のパフォーマンスにおいては、Claude Fable 5がRustにおいてGLM-5.3を15%上回る結果を出しました。
両モデル間のタスクごとの相関は0.65と比較的高い数値を示しており、Together AIは両モデルを同時に実行することによるポートフォリオ上のメリットは少ないと結論付けています。実用的な推奨として、Together AIはGLM-5.3をデフォルトモデルとして使用し、特にRustに特化したタスクにのみClaude Fable 5を適用することを提言しています。
参考: Together AI Blog (アーカイブ) — 2026年8月21日 09:00 (JST)