Together AI、AI推論最適化の新フレームワーク「Together Compiler」発表
Together AI (Together AI) は11月15日(現地時間)、AI推論最適化のための新フレームワーク「Together Compiler (Together Compiler)」を発表しました。このフレームワークはAIエージェントを活用し、GPUカーネルの書き換えと融合によって、モデルのフォワードパスを最適化します。NVIDIA B200では、Llama 3.2 1Bモデルにおいて、ハンドライティングされたメガカーネルを28%上回る2,118トークン/秒の性能を達成しました。