Cuotas y límites

Cuotas

Los límites de cuota del servicio administrado Cloud Dataflow son los siguientes:

  • Cada usuario puede realizar hasta 3.000.000 de peticiones por minuto.
  • Cada tarea de Cloud Dataflow puede usar un máximo de 1000 instancias de Cloud Storage.
  • Cada proyecto de Google Cloud Platform (GCP) puede ejecutar 25 tareas de Cloud Dataflow simultáneas.
  • Cada organización puede ejecutar 125 tareas de Cloud Dataflow simultáneas.
  • Cada usuario puede realizar hasta 15.000 peticiones de supervisión por minuto.

Si quieres superar el número de tareas que se pueden ejecutar simultáneamente en tareas de Cloud Dataflow (es decir, 25 en proyectos y 125 en organizaciones), ponte en contacto con nosotros a través de dataflow-feedback@google.com y aumentaremos el límite a un valor que se adapte mejor a tus necesidades.

Además, el servicio Cloud Dataflow cuenta con varios componentes de GCP (como BigQuery, Cloud Storage, Cloud Pub/Sub y Compute Engine) que, al igual que otros de sus servicios, utilizan cuotas para limitar la cantidad máxima de recursos que se pueden usar en un proyecto. A la hora de utilizar Cloud Dataflow, es posible que tengas que ajustar la configuración de cuotas de estos servicios.

Cuotas de Compute Engine

Cuando ejecutas tu flujo de procesamiento en el servicio Cloud Dataflow, este acelera las instancias de Compute Engine para ejecutar el código de dicho flujo.

Las cuotas de Compute Engine se especifican según la región. Comprueba la cuota de Compute Engine que se aplica a tu proyecto y solicita los ajustes pertinentes (si procede):

  • CPUs: los tipos de máquinas predeterminadas de Cloud Dataflow son n1-standard-1 para los lotes y n1-standard-4 para las transmisiones. Para calcular el número de CPUs, Compute Engine suma el recuento total de CPUs de cada instancia (por ejemplo, si se ejecutan 10 instancias de n1-standard-4, se computarán 40 CPU). Consulta los tipos de máquinas de Compute Engine para ver cuántas CPU usa cada uno.
  • Direcciones IP en uso: en tu proyecto, debes tener el número de direcciones IP en uso suficiente como para acomodar el número de instancias que quieras utilizar. Por ejemplo, si quieres usar 10 instancias de Compute Engine, tendrás que contar con 10 direcciones IP de dicho tipo.
  • Disco persistente: Cloud Dataflow vincula discos persistentes a cada instancia. El tamaño de disco predeterminado es de 250 GB para los lotes y de 420 GB para las transmisiones; por tanto, si quieres utilizar 10 instancias, necesitarás 2500 GB de disco persistente de forma predeterminada para realizar una tarea por lotes.
  • Grupos de instancias administrados: Cloud Dataflow despliega tus instancias de Compute Engine como un grupo de instancias administrado. Para ello, debes tener disponible la siguiente cuota relacionada:
    • Un grupo de instancias por cada tarea de Cloud Dataflow
    • Un grupo de instancias administrado por cada tarea de Cloud Dataflow
    • Una plantilla de instancia por cada tarea de Cloud Dataflow
Nota: Si utilizas un proyecto de la versión de prueba gratuita, contarás con un máximo de 8 núcleos disponibles y debes especificar una combinación de numWorkers, workerMachineType y maxNumWorkers que se ajuste al límite de dicha versión.

Otras cuotas

Según las fuentes y los sumideros que estés utilizando, es posible que necesites otra cuota más.

  1. Cloud Pub/Sub: si utilizas este servicio, es posible que necesites una cuota más. A la hora de planificarla, ten en cuenta que procesar un mensaje desde Cloud Pub/Sub implica tres operaciones. Si utilizas marcas de tiempo personalizadas, tienes que duplicar el número esperado de operaciones, ya que Cloud Dataflow creará una suscripción por separado para hacer un seguimiento de dichas marcas de tiempo.
  2. BigQuery: si utilizas la API de transmisión de BigQuery, se aplicarán límites de cuota y otras restricciones.

Límites

En esta sección se detallan los límites prácticos de producción de Cloud Dataflow.

Nota: Estos valores están sujetos a cambios y se aplican a las últimas versiones de los SDK de Cloud Dataflow. Es posible que los flujos de procesamiento que se hayan compilado con versiones previas de dichos SDK tengan unos límites de tiempo de ejecución más estrictos.

Límite Cantidad
Número máximo de trabajadores por flujo de procesamiento 1000
Tamaño máximo para las peticiones de creación de una tarea. Este límite puede alcanzarse en las descripciones de los flujos de procesamiento que incluyan muchos pasos y nombres muy verbosos 10 MB
Número máximo de fragmentos de entrada secundaria 20.000
¿Te ha resultado útil esta página? Enviar comentarios:

Enviar comentarios sobre...

Si necesitas ayuda, visita nuestra página de asistencia.