Together AIは2026年11月15日(現地時間)、同社のプラットフォーム上で動作するコーディングエージェントの評価(agent evals)を実施した結果、タスク完了率が75%から97%に向上したと発表しました。ドキュメント、スキル、APIエラーに対する細かな修正が、この改善に寄与したとしています。
このエージェント評価は、開発者がTogether AIをコーディングエージェントで利用する際の効率性を測定するために構築されました。Together AIは、一般的な開発タスクのリストを作成し、エージェントを「ベースライン」「MCP」(Together AIのドキュメントへ直接アクセス)「Skills」(エージェント向けに最適化された命令と例を含むパッケージ)の三つの異なる設定でテストしました。
評価プロセスはTogether sandbox内で自動化され、GitHub Actionsがセットアップと結果保存を担当し、LLMジャッジがタスクの達成度を判定します。評価の中で、GPUクラスターの料金取得タスクにおいて、サンプルの出力表示の誤解や、スキルファイル内のリンク先がマーケティングページになっていた問題が特定されました。
これらの問題を解決するため、スキルファイルに料金表へ誘導する二つの新しい文を追加するなどの修正が行われました。結果として、Together AIのドキュメント、スキル、APIエラーへの修正が、タスク完了率を大幅に向上させ、エージェントによる開発者体験の改善につながったと報告されています。
参考: Together AI Blog — 2026年11月16日 09:00 (JST)
原文ハイライト"lifted task completion rate from 75% to 97%."