Together AI(トゥゲザーAI)は11月16日(現地時間)、Ollama(オラマ)と共同で、長期的なエージェントワークロードにおけるオープンモデルのパフォーマンス維持に関する知見を共有した。エージェントが各処理ターンで会話履歴全体を再送信する状況下で、プリフィックスキャッシュの保護が重要であると指摘。ハーネスと推論エンジンの連携が鍵となる。
エージェント型のワークロードは、入力シーケンス長(ISL)が長く、出力シーケンス長(OSL)が短いという特徴を持つ。
エージェントがステップを進めるたびに、システムプロンプト、ツール定義、リクエスト、読み込んだファイル、実行したコマンドなど、その時点までの会話履歴全体がモデルに送信される。これにより、GPUが各ターンで全トランスクリプトをゼロから処理する必要が生じ、セッションが長くなるにつれて処理速度が低下し、コストが増加する。
この問題に対し、プリフィックスキャッシュを活用することで、再処理の大部分を回避できる。
プリフィックスキャッシュを適切に機能させるには、ハーネス側でプロンプトの開始部分を変更せず、推論エンジン側ではキャッシュを持つGPUに各ターンを送信し続ける必要がある。Together AIは推論エンジン側の課題に、Ollamaはハーネス統合側の課題に取り組んでおり、両社はこの問題に対する知見を共有した。
Ollamaは「ollama launch」コマンドを通じて、ハーネスとオープンモデルを接続する機能を提供している。ハーネスがシステムプロンプト内の動的な情報(タイムスタンプなど)を変更したり、ツールの定義をプロンプトの上部に遅延ロードしたりすると、プリフィックスキャッシュが破壊され、再処理が必要となる。
参考: Together AI Blog (アーカイブ) — 2026年11月16日 09:00 (JST)