Cuotas y límites

En este documento, se detallan las cuotas y los límites del sistema que se aplican a Dataflow.

  • Las cuotas especifican la cantidad de un recurso compartido contable que puedes usar. Las cuotas las definen los servicios de Google Cloud, como Dataflow.
  • Los límites del sistema son valores fijos que no se pueden cambiar.

Google Cloud usa cuotas para garantizar la equidad y reducir los aumentos repentinos en el uso y la disponibilidad de los recursos. Una cuota restringe la cantidad de un recurso de Google Cloud que puede usar tu proyecto de Google Cloud. Las cuotas se aplican a una variedad de tipos de recursos, incluidos los componentes de hardware, software y red. Por ejemplo, las cuotas pueden restringir la cantidad de llamadas a la API para un servicio, la cantidad de balanceadores de cargas que se usan en simultáneo en tu proyecto o la cantidad de proyectos que puedes crear. Las cuotas protegen a la comunidad de usuarios de Google Cloud mediante la prevención de la sobrecarga de los servicios. También te ayudan a administrar tus propios recursos de Google Cloud.

El sistema de cuotas Cloud realiza las siguientes acciones:

  • Supervisa el consumo de productos y servicios de Google Cloud.
  • Restringe el consumo de esos recursos.
  • Proporciona un medio para solicitar cambios en el valor de la cuota.

En la mayoría de los casos, cuando intentas consumir más de lo que permite la cuota de un recurso, el sistema bloquea el acceso al recurso, y la tarea que intentas realizar falla.

Por lo general, las cuotas se aplican a nivel del proyecto de Google Cloud. El uso de un recurso en un proyecto no afecta tu cuota disponible en otro proyecto. Dentro de un proyecto de Google Cloud, las cuotas se comparten entre todas las aplicaciones y direcciones IP.

Para ajustar la mayoría de las cuotas, usa la consola de Google Cloud. Para obtener más información, consulta Solicita un ajuste de cuota.

También existen límites del sistema para los recursos de Dataflow. Los límites del sistema no se pueden cambiar.

El servicio administrado de Dataflow tiene las siguientes cuotas y límites:

  • Cada proyecto de Google Cloud puede realizar hasta 3,000,000 de solicitudes por minuto.
  • Cada trabajo de Dataflow puede usar un máximo de 2,000 instancias de Compute Engine. Sin especificar una zona de trabajador, cada trabajo de transmisión con Streaming Engine, o bien cada trabajo por lotes con Dataflow Shuffle basado en servicios, puede usar un máximo de 4,000 instancias de Compute Engine.
  • Cada proyecto de Google Cloud puede ejecutar, como máximo, 25 trabajos de Dataflow simultáneos de forma predeterminada.
  • Cada trabajador de Dataflow tiene un límite máximo de registros que puede generar en un intervalo de tiempo. Consulta la documentación de registro para conocer el límite exacto.
  • Si aceptas las cuotas de nivel de organización, cada organización puede ejecutar al menos 125 trabajos simultáneos de Dataflow de forma predeterminada.
  • Cada usuario puede realizar hasta 15,000 solicitudes de supervisión por minuto.
  • Cada usuario puede realizar hasta 60 solicitudes de creación de trabajos por minuto.
  • Cada usuario puede realizar hasta 60 solicitudes de plantilla de trabajo por minuto.
  • Cada usuario puede realizar hasta 60 solicitudes de actualización de trabajo por minuto.
  • Cada proyecto de Google Cloud tiene las siguientes ranuras de Shuffle en cada región:
    • asia-east1: 48 ranuras
    • asia-northeast1: 24 ranuras
    • asia-northeast3: 32 ranuras
    • asia-south1: 64 ranuras
    • asia-southeast1: 64 ranuras
    • australia-southeast1: 24 ranuras
    • europe-west1: 640 ranuras
    • europe-west2: 32 ranuras
    • europe-west3: 40 ranuras
    • europe-west4: 512 ranuras
    • northamerica-northeast1: 512 ranuras
    • us-central1: 640 ranuras
    • us-east1: 640 ranuras
    • us-east1: 64 ranuras
    • us-west1: 384 ranuras
    • us-west2: 24 ranuras
    • us-west3: 24 ranuras
    • otros: 16 ranuras
    16 ranuras son suficientes para reproducir de manera aleatoria aproximadamente 10 TB de datos de forma simultánea.
  • Los trabajos por lotes de Dataflow se cancelarán después de 10 días.

Cuotas de Compute Engine

Cuando ejecutas tu canalización en el servicio de Dataflow, se crean instancias de Compute Engine para ejecutar el código de tu canalización.

La cuota de Compute Engine se especifica por región. Revisa la cuota de Compute Engine de tu proyecto y solicita los siguientes ajustes, si es necesario:

  • CPU: En las siguientes regiones, los tipos de máquina predeterminados para Dataflow son n1-standard-1 para lotes, n1-standard-2 para trabajos que usan Streaming Engine, n1-standard-4 para trabajos de transmisión que no usan Streaming Engine, y n1-standard-2 para trabajos que usan la programación flexible de recursos (FlexRS). FlexRS usa un 90% de VMs interrumpibles y un 10% de VMs normales.
    • asia-east1
    • asia-east2
    • asia-northeast1
    • asia-northeast2
    • asia-northeast3
    • asia-south1
    • asia-south2
    • asia-southeast1
    • asia-southeast2
    • australia-southeast1
    • australia-southeast2
    • europe-central2
    • europe-north1
    • europe-west1
    • europe-west2
    • europe-west3
    • europe-west4
    • europe-west5
    • europe-west6
    • northamerica-northeast1
    • northamerica-northeast2
    • southamerica-east1
    • us-central1
    • us-central2
    • us-east1
    • us-east4
    • us-west1
    • us-west2
    • us-west3
    • us-west4

    En otras regiones, los tipos de máquina predeterminados son e2-standard-2 para los trabajos por lotes, e2-standard-2 para los trabajos que usan Streaming Engine, e2-standard-4 para los trabajos de transmisión que no usan Streaming Engine y e2-standard-2 para trabajos que usan FlexRS.

    Compute Engine calcula la cantidad máxima de CPU mediante la suma del conteo de CPU total de cada instancia. Por ejemplo, ejecutar 10 instancias n1-standard-4 cuenta como 40 CPU. Para ver la asignación entre los tipos de máquina y los recuentos de CPUs, consulta Tipos de máquinas de Compute Engine.

  • Direcciones IP en uso: La cantidad de direcciones IP en uso en tu proyecto debe ser suficiente para adaptarse a la cantidad de instancias deseada. Para usar 10 instancias de Compute Engine, necesitarás 10 direcciones IP en uso.
  • Persistent Disk: Dataflow conecta Persistent Disk a cada instancia.
    • El tamaño de disco predeterminado es de 250 GB para trabajos por lotes y de 400 GB para canalizaciones de transmisión. De manera predeterminada, para 10 instancias necesitas 2,500 GB de Persistent Disk destinados a un trabajo por lotes.
    • El tamaño de disco predeterminado es de 25 GB para las canalizaciones por lotes de Dataflow Shuffle.
    • El tamaño de disco predeterminado es de 30 GB para las canalizaciones de transmisión de Streaming Engine.
    • En la actualidad, el servicio de Dataflow está limitado a 15 discos persistentes por instancia de trabajador cuando se ejecuta un trabajo de transmisión. Cada disco persistente pertenece a una máquina virtual de Compute Engine individual. Una proporción de 1:1 entre trabajadores y discos es la asignación de recursos mínima.
    • El uso de Compute Engine se basa en el número promedio de trabajadores, mientras que el uso de discos persistentes se basa en el número exacto de --maxNumWorkers. Los discos persistentes se redistribuyen de modo que cada trabajador obtenga el mismo número de discos adjuntos.
  • Grupos de instancias administrados regionales: Dataflow implementa tus instancias de Compute Engine como un grupo de instancias administrado regional. Deberás asegurarte de tener disponibles las siguientes cuotas relacionadas:
    • Un grupo de instancias por cada trabajo de Dataflow
    • Una plantilla de instancia por cada trabajo de Dataflow
    • Un grupo de instancias regional administradas por cada trabajo de Dataflow
  • Si faltan grupos de instancias administrados para un trabajo de transmisión durante más de 7 días, el trabajo se cancela.
  • Si faltan grupos de instancias administrados para un trabajo por lotes durante más de 1 hora, el trabajo se cancela.

Cuotas adicionales

Según las fuentes y los receptores que uses, es posible que necesites una cuota adicional.

  1. Pub/Sub: Si usas Pub/Sub, puede que necesites una cuota adicional. Cuando planificas la cuota, ten en cuenta que procesar 1 mensaje de Pub/Sub involucra 3 operaciones. Si usas marcas de tiempo personalizadas, debes duplicar la cantidad de operaciones esperadas, ya que Dataflow creará una suscripción independiente para hacer un seguimiento de las marcas de tiempo personalizadas.
  2. BigQuery: si usas la API de transmisión para BigQuery, se aplican límites de cuota y otras restricciones.

Encuentra y aumenta las cuotas

Puedes verificar el uso actual de la cuota específica de Dataflow de la manera siguiente:

  1. En la consola de Google Cloud, dirígete a API y servicios.
    Ir a API y servicios
  2. Para verificar el uso actual de la cuota de las ranuras de Shuffle, en la pestaña Cuotas, busca la línea Ranuras de Shuffle en la tabla y en la columna del Gráfico de usoy haz clic en Mostrar gráfico de uso.

Si deseas aumentar tu cuota de trabajo, comunícate con la Asistencia de Google Cloud, y aumentaremos el límite a un valor que se adapte mejor a tus necesidades. La cuota predeterminada es de 25 trabajos de Dataflow simultáneos para un proyecto o 125 trabajos de Dataflow simultáneos para tu organización.

Además, puedes aumentar tu cuota de ranuras de Shuffle para trabajos por lotes si envías una solicitud de asistencia y especificas el tamaño máximo de conjunto de datos de Shuffle simultáneo deseado en todos los trabajos en tu proyecto. Antes de solicitar una cuota de Shuffle adicional, ejecuta tu canalización con Dataflow Shuffle y verifica el uso real de cuota de Shuffle.

Para los trabajos de transmisión, puedes aumentar la capacidad de procesamiento de Streaming Engine mediante el envío de una solicitud de asistencia al equipo de Asistencia de Google Cloud Platform. En tu solicitud especifica la cantidad máxima de datos que deseas reorganizar entre los trabajadores por minuto para cada región en la que se ejecuta tu trabajo.

El servicio de Dataflow también usa varios componentes de Google Cloud, como BigQuery, Cloud Storage, Pub/Sub y Compute Engine. Estos (y otros servicios de Google Cloud) emplean cuotas para limitar la cantidad máxima de recursos que puedes usar en un proyecto. Cuando uses Dataflow, es posible que debas ajustar la configuración de cuotas para estos servicios.

Dataflow Prime

Las cuotas y los límites son iguales para Dataflow y Dataflow Prime. Si tienes cuotas para Dataflow, no necesitas una cuota adicional a fin de ejecutar tus trabajos con Dataflow Prime.

Límites

En esta sección se describen los límites de producción prácticos para Dataflow.

Límite Cantidad
Cantidad máxima de trabajadores por canalización. 2,000
Tamaño máximo de una solicitud de creación de trabajo. Las descripciones de canalización con varios pasos y nombres muy detallados pueden alcanzar este límite. 10 MB
Tamaño máximo de una solicitud de inicio de plantilla. 1 MB
Cantidad máxima de fragmentos de entradas complementarias. 20,000
Tamaño máximo para un solo elemento (excepto cuando se aplican condiciones más estrictas, por ejemplo, Streaming Engine). 2 GB
Tamaño máximo de la clave en las canalizaciones por lotes. 1.5 MB
Cantidad máxima de entradas de registro por trabajador en un período determinado 15,000 mensajes cada 30 segundos
Cantidad máxima de métricas personalizadas por proyecto. 100
El período durante el cual se almacenarán las recomendaciones. 30 días
Límites de Streaming Engine Importe
Cantidad máxima de bytes para mensajes de Pub/Sub. 7 MB
Tamaño máximo para un valor de elemento único. 80 MB
Tamaño máximo de una clave grande. Las claves de más de 64 KB generan un menor rendimiento. 2 MB
Tamaño máximo para una entrada complementaria. 80 MB
Longitud máxima de las etiquetas de estado que usan TagValue y TagBag. 64 KB