Meta、LLM推論ディスパッチ最適化の新設計「Cap-and-Track」発表
Metaは2026年11月18日、プロバイダーの容量と内部GPUにわたる非同期のLLM推論において、リクエストディスパッチを最適化する新設計「Cap-and-Track」を発表した。動的に変化するサービングフリートの規模やリクエストサイズに対応する仕組みで、論文公開プラットフォームarXiv cs.LGに同社の研究として公開された。Cap-and-Trackは既にMetaのトラフィックシェイパーに実装されているという。