Cuotas y límites

En este documento, se enumeran las cuotas y los límites que se aplican a Dataflow.

Una cuota restringe cuánto de un recurso compartido de Google Cloud en particular puede usar tu proyecto de Google Cloud, incluidos los componentes de red, hardware y software. Por lo tanto, las cuotas son parte de un sistema que hace las siguientes acciones:

  • Supervisa el uso o consumo de productos y servicios de Google Cloud.
  • Restringe el consumo de esos recursos por motivos que incluyen garantizar la equidad y reducir los aumentos repentinos de uso.
  • Mantiene los parámetros de configuración que aplican de forma automática las restricciones prescritas.
  • Proporciona un medio para solicitar o hacer cambios en la cuota.

En la mayoría de los casos, cuando se excede un límite de cuota, el sistema bloquea de inmediato el acceso al recurso de Google correspondiente, y la tarea que intentas hacer falla. En la mayoría de los casos, las cuotas se aplican a cada proyecto de Google Cloud y se comparten entre todas las aplicaciones y direcciones IP que usan ese proyecto.

Para aumentar o disminuir la mayoría de las cuotas, usa la consola de Google Cloud. Para obtener más información, consulta Solicita una cuota mayor.

También existen límites para los recursos de Dataflow. Estos límites no están relacionados con el sistema de cuotas. Los límites no se pueden cambiar, a menos que se indique lo contrario.

El servicio administrado de Dataflow tiene las siguientes cuotas y límites:

  • Cada proyecto de Google Cloud puede realizar hasta 3,000,000 de solicitudes por minuto.
  • Cada trabajo de Dataflow puede usar un máximo de 2,000 instancias de Compute Engine. Sin especificar una zona de trabajador, cada trabajo de transmisión con Streaming Engine, o bien cada trabajo por lotes con Dataflow Shuffle basado en servicios, puede usar un máximo de 4,000 instancias de Compute Engine.
  • Cada proyecto de Google Cloud puede ejecutar, como máximo, 25 trabajos de Dataflow simultáneos de forma predeterminada.
  • Cada trabajador de Dataflow tiene un límite máximo de registros que puede generar en un intervalo de tiempo. Consulta la documentación de registro para conocer el límite exacto.
  • Si aceptas las cuotas de nivel de organización, cada organización puede ejecutar al menos 125 trabajos simultáneos de Dataflow de forma predeterminada.
  • Cada usuario puede realizar hasta 15,000 solicitudes de supervisión por minuto.
  • Cada usuario puede realizar hasta 60 solicitudes de creación de trabajos por minuto.
  • Cada usuario puede realizar hasta 60 solicitudes de plantilla de trabajo por minuto.
  • Cada usuario puede realizar hasta 60 solicitudes de actualización de trabajo por minuto.
  • Cada proyecto de Google Cloud tiene las siguientes ranuras de Shuffle en cada región:
    • asia-east1: 48 ranuras
    • asia-northeast1: 24 ranuras
    • asia-northeast3: 32 ranuras
    • asia-south1: 64 ranuras
    • asia-southeast1: 64 ranuras
    • australia-southeast1: 24 ranuras
    • europe-west1: 640 ranuras
    • europe-west2: 32 ranuras
    • europe-west3: 40 ranuras
    • europe-west4: 512 ranuras
    • northamerica-northeast1: 512 ranuras
    • us-central1: 640 ranuras
    • us-east1: 640 ranuras
    • us-east1: 64 ranuras
    • us-west1: 384 ranuras
    • us-west2: 24 ranuras
    • us-west3: 24 ranuras
    • otros: 16 ranuras
    16 ranuras son suficientes para reproducir de manera aleatoria aproximadamente 10 TB de datos de forma simultánea.
  • Los trabajos por lotes de Dataflow se cancelarán después de 30 días.

Cuotas de Compute Engine

Cuando ejecutas tu canalización en el servicio de Dataflow, se crean instancias de Compute Engine para ejecutar el código de tu canalización.

La cuota de Compute Engine se especifica por región. Revisa la cuota de Compute Engine de tu proyecto y solicita los siguientes ajustes, si es necesario:

  • CPU: Los tipos de máquina predeterminados de Dataflow son n1-standard-1 para trabajos por lotes, n1-standard-2 para trabajos que usan Streaming Engine y n1-standard-4 para los que no usan Streaming Engine. FlexRS utiliza máquinas n1-standard-2 de forma predeterminada. Durante la versión Beta, FlexRS usa un 90% de VM interrumpibles y un 10% de VM normales. Compute Engine calcula la cantidad máxima de CPU mediante la suma del conteo de CPU total de cada instancia. Por ejemplo, ejecutar 10 instancias n1-standard-4 cuenta como 40 CPU. Consulta los tipos de máquina de Compute Engine para ver la correlación entre los tipos de máquina y los conteos de CPU.
  • Direcciones IP en uso: La cantidad de direcciones IP en uso en tu proyecto debe ser suficiente para adaptarse a la cantidad de instancias deseada. Para usar 10 instancias de Compute Engine, necesitarás 10 direcciones IP en uso.
  • Persistent Disk: Dataflow conecta Persistent Disk a cada instancia.
    • El tamaño de disco predeterminado es de 250 GB para trabajos por lotes y de 400 GB para canalizaciones de transmisión. De manera predeterminada, para 10 instancias necesitas 2,500 GB de disco persistente destinados a un trabajo por lotes.
    • El tamaño de disco predeterminado es de 25 GB para las canalizaciones por lotes de Dataflow Shuffle.
    • El tamaño de disco predeterminado es de 30 GB para las canalizaciones de transmisión de Streaming Engine.
    • En la actualidad, el servicio de Dataflow está limitado a 15 discos persistentes por instancia de trabajador cuando se ejecuta un trabajo de transmisión. Cada disco persistente pertenece a una máquina virtual de Compute Engine individual. Una proporción de 1:1 entre trabajadores y discos es la asignación de recursos mínima.
    • El uso de Compute Engine se basa en el número promedio de trabajadores, mientras que el uso de discos persistentes se basa en el número exacto de --maxNumWorkers. Los discos persistentes se redistribuyen de modo que cada trabajador obtenga el mismo número de discos adjuntos.
  • Grupos de instancias administrados regionales: Dataflow implementa tus instancias de Compute Engine como un grupo de instancias administrado regional. Deberás asegurarte de tener disponibles las siguientes cuotas relacionadas:
    • Un grupo de instancias por cada trabajo de Dataflow
    • Una plantilla de instancia por cada trabajo de Dataflow
    • Un grupo de instancias regional administradas por cada trabajo de Dataflow

Cuotas adicionales

Según las fuentes y los receptores que uses, es posible que necesites una cuota adicional.

  1. Pub/Sub: Si usas Pub/Sub, puede que necesites una cuota adicional. Cuando planificas la cuota, ten en cuenta que procesar 1 mensaje de Pub/Sub involucra 3 operaciones. Si usas marcas de tiempo personalizadas, debes duplicar la cantidad de operaciones esperadas, ya que Dataflow creará una suscripción independiente para hacer un seguimiento de las marcas de tiempo personalizadas.
  2. BigQuery: si usas la API de transmisión para BigQuery, se aplican límites de cuota y otras restricciones.

Encuentra y aumenta las cuotas

Puedes verificar el uso actual de la cuota específica de Dataflow de la manera siguiente:

  1. En la consola de Google Cloud, dirígete a API y servicios.
    Ir a API y servicios
  2. Para verificar el uso actual de la cuota de las ranuras de Shuffle, en la pestaña Cuotas, busca la línea Ranuras de Shuffle en la tabla y en la columna del Gráfico de usoy haz clic en Mostrar gráfico de uso.

Si deseas aumentar la cuota de tu trabajo, comunícate con la Asistencia de Google Cloud y aumentaremos el límite a un valor que se adapte mejor a tus necesidades. La cuota predeterminada es de 25 trabajos de Dataflow simultáneos para tu proyecto o 125 trabajos de Dataflow simultáneos para tu organización.

Además, puedes aumentar tu cuota de ranuras de Shuffle para trabajos por lotes si envías una solicitud de asistencia y especificas el tamaño máximo de conjunto de datos de Shuffle simultáneo deseado en todos los trabajos en tu proyecto. Antes de solicitar una cuota de Shuffle adicional, ejecuta tu canalización con Dataflow Shuffle y verifica el uso real de cuota de Shuffle.

Para los trabajos de transmisión, puedes aumentar la capacidad de procesamiento de Streaming Engine mediante el envío de una solicitud de asistencia al equipo de Asistencia de Google Cloud Platform. En tu solicitud especifica la cantidad máxima de datos que deseas reorganizar entre los trabajadores por minuto para cada región en la que se ejecuta tu trabajo.

El servicio de Dataflow también usa varios componentes de Google Cloud, como BigQuery, Cloud Storage, Pub/Sub y Compute Engine. Estos (y otros servicios de Google Cloud) emplean cuotas para limitar la cantidad máxima de recursos que puedes usar en un proyecto. Cuando uses Dataflow, es posible que debas ajustar la configuración de cuotas para estos servicios.

Dataflow Prime

Las cuotas y los límites son iguales para Dataflow y Dataflow Prime. Si tienes cuotas para Dataflow, no necesitas una cuota adicional a fin de ejecutar tus trabajos con Dataflow Prime.

Límites

En esta sección se describen los límites de producción prácticos para Dataflow.

Límite Cantidad
Cantidad máxima de trabajadores por canalización. 1,000
Tamaño máximo de una solicitud de creación de trabajo. Las descripciones de canalización con varios pasos y nombres muy detallados pueden alcanzar este límite. 10 MB
Tamaño máximo de una solicitud de inicio de plantilla. 1 MB
Cantidad máxima de fragmentos de entradas complementarias. 20,000
Tamaño máximo para un solo elemento (excepto cuando se aplican condiciones más estrictas, por ejemplo, Streaming Engine). 2 GB
Tamaño máximo para un solo valor de elemento en Streaming Engine. 80 MB
Cantidad máxima de entradas de registro por trabajador en un período determinado 15,000 mensajes cada 30 segundos
Cantidad máxima de métricas personalizadas por proyecto. 100
El período durante el cual se almacenarán las recomendaciones. 30 días
Límites de Streaming Engine Cantidad
Cantidad máxima de bytes para mensajes de Pub/Sub. 7 MB
Tamaño máximo de una clave grande. Las claves de más de 64 KB generan un menor rendimiento. 2 MB
Tamaño máximo para una entrada complementaria. 80 MB
Longitud máxima de las etiquetas de estado que usan TagValue y TagBag. 64 KB