Tag
5 件の関連記事
Together AIは2026年8月21日(現地時間)、ソフトウェアエンジニアリング能力を評価するベンチマーク「DeepSWE」を用いて、同社のモデルであるGLM-5.3とClaude Fable 5の比較評価結果を公開しました。この評価により、両モデルのpass@1スコアはほぼ同等であるものの、複数回試行を許容するpass@kの指標ではGLM-5.3が優位に立ち、かつロールアウトあたりのコストがClaude Fable 5より大幅に低いことが明らかになりました。
Together AI（トゥゲザーエーアイ）は2026年8月21日(現地時間)、同社のブログ記事を通じて、大規模言語モデル「GLM-5.3（ジーエルエム5.3）」と「GPT-5.6 Sol（ジーピーティー5.6ソル）」を、ソフトウェアエンジニアリングベンチマーク「DeepSWE（ディープスウィー）」で比較した結果を公開した。この検証では、単一試行におけるGPT-5.6 Solの優位性と、複数試行および費用対効果におけるGLM-5.3の強みが明らかになった。さらに、両者を組み合わせたカスケード方式が、性能と費用効率の双方で最も優れた結果を示すことが示された。
Together AIは8月6日(現地時間)、大規模言語モデル「DeepSeek-V4 Flash 0731」と「GPT-5.6 Luna」を、ソフトウェアエンジニアリングタスクのベンチマークDeepSWEで比較評価した結果を発表しました。DeepSWEのpass@1スコアではGPT-5.6 LunaがDeepSeek-V4 Flash 0731を14ポイント上回りましたが、DeepSeek-V4 Flash 0731はタスクあたりのコストが約6分の1と安価であり、コスト効率では4.8倍の優位性を示しました。
Together AIは2026年7月25日(現地時間)付けのブログ記事で、大規模言語モデルKimi K3とGPT-5.6 SolのDeepSWEベンチマークにおける性能比較結果を発表した。単一試行での解決率（pass@1）ではGPT-5.6 Solが72.7%でKimi K3の68.5%を上回ったが、複数試行での解決率（pass@k with k > 1）ではKimi K3が優位性を示した。
Together AIは2026年7月23日(現地時間)、同社のブログでKimi K3とClaude Fable 5のDeepSWEベンチマーク比較結果を公開した。この比較では、Kimi K3が品質面でClaude Fable 5に匹敵し、タスク解決あたりのコストで約3分の1という結果を示した。Kimi K3はオープンウェイトモデルであり、DeepSWEにおけるpass@4ではClaude Fable 5を上回る性能を発揮している。