Together AI (Together AI) は11月15日(現地時間)、AI推論最適化のための新フレームワーク「Together Compiler (Together Compiler)」を発表しました。このフレームワークはAIエージェントを活用し、GPUカーネルの書き換えと融合によって、モデルのフォワードパスを最適化します。NVIDIA B200では、Llama 3.2 1Bモデルにおいて、ハンドライティングされたメガカーネルを28%上回る2,118トークン/秒の性能を達成しました。

Together Compilerは、AIエージェントがモデルのフォワードパスにおけるGPUカーネルを書き換え、融合することで動作します。同社は昨年、単一の高度に融合されたGPUカーネル内でモデルのフォワードパス全体を実行する「AIメガカーネル」を開発し、記録的な速度を達成しました。しかし、これらのメガカーネルを生産環境に導入することは困難で、サポートできたのはモデルとバッチサイズがそれぞれ一つに限定されていました。

Together AIは、既存のTorch Inductorカーネルの上にCUDA GraphsとPDLを組み合わせることで、単一のカーネルコードを記述することなく、メガカーネルの性能の98%を回復できることを発見しました。さらに、「マルチカーネル」とエージェントループを組み合わせることで、従来のメガカーネルを最大1.7倍上回り、H100上のLlama 1Bで1100 TPS(Tokens Per Second)を超える性能を達成しています。

PyTorchはAI開発の基盤として広く利用されていますが、そのモジュール性は性能コストを伴います。個々の操作としてモデルを実行すると、起動オーバーヘッドが生じ、計算とメモリ移動の重複機会が制限され、GPUリソースが十分に活用されないことがありました。PyTorchはこれらの非効率性に対処するためTorch Compile(PyTorch 2.0)を導入しましたが、Together AIの研究者たちはさらなる性能向上を追求していました。

Torch Compileは、ジャストインタイムコンパイルパイプラインを用いてPyTorch操作を計算グラフに変換し、最適化されたGPUカーネルを生成します。しかし、Together AIの調査によると、Inductorのコンパイラヒューリスティックはワークロード全体で最適な実装を確実に選択できない場合があるといいます。


参考: Together AI Blog (アーカイブ) — 2026年11月16日 09:00 (JST)

原文ハイライト

"Last year we built megakernels. This year we deleted them"

この記事をシェア
X はてブ LinkedIn