Cuotas y límites

En este documento, se enumeran las quotas y los quotas que se aplican a Dataform.

Una cuota restringe cuánto de un recurso compartido de Google Cloud en particular puede usar tu proyecto de Google Cloud, incluidos los componentes de red, hardware y software. Por lo tanto, las cuotas son parte de un sistema que hace las siguientes acciones:

  • Supervisa el uso o consumo de productos y servicios de Google Cloud.
  • Restringe el consumo de esos recursos por motivos que incluyen garantizar la equidad y reducir los aumentos repentinos de uso.
  • Mantiene los parámetros de configuración que aplican de forma automática las restricciones prescritas.
  • Proporciona un medio para solicitar o hacer cambios en la cuota.

En la mayoría de los casos, cuando se excede un límite de cuota, el sistema bloquea de inmediato el acceso al recurso de Google correspondiente, y la tarea que intentas hacer falla. En la mayoría de los casos, las cuotas se aplican a cada proyecto de Google Cloud y se comparten entre todas las aplicaciones y direcciones IP que usan ese proyecto.

También existen límites para los recursos de Dataform. Estos límites no están relacionados con el sistema de cuotas. Los límites no se pueden cambiar, a menos que se indique lo contrario.

Restablecimiento de cuotas

Las cuotas diarias se restablecen en intervalos regulares durante el día a fin de reflejar su propósito de orientar comportamientos que limiten las frecuencias. También se realizan actualizaciones intermitentes para evitar interrupciones prolongadas cuando se agota la cuota. Por lo general, una cuota mayor se pone a disposición en minutos en lugar de que se reabastezca de forma global una vez al día.

Solicitar un aumento de cuota

Para aumentar o disminuir la mayoría de las cuotas, usa la consola de Google Cloud. Para obtener más información, consulta Cómo solicitar una cuota mayor.

Limita el uso de cuota

Si quieres aprender a limitar el uso de un recurso en particular mediante la especificación de una cuota menor que la predeterminada, consulta Limita el uso.

Permisos necesarios

Para ver y actualizar tus cuotas de Dataform en la consola de Google Cloud, necesitas los mismos permisos que para cualquier cuota de Google Cloud. Para obtener más información, consulta Permisos de cuota.

Soluciona problemas

Si quieres obtener más información para solucionar errores relacionados con las cuotas y los límites de Dataform, consulta Solución de problemas.

Cuotas de Dataform

Dataform tiene las siguientes cuotas de API:

Cuotas Límite
Solicitudes totales por proyecto y por región 6000/minute/project/region
Solicitudes de compilación por proyecto y por región 120/minute/project/region
Solicitudes de acceso a archivos por proyecto y por región 120/minute/project/region
Solicitudes de instalación de paquetes por proyecto y por región 120/minute/project/region
Solicitudes de invocación de flujos de trabajo por proyecto y por región 60/minute/project/region
Acciones de flujo de trabajo por ejecución 5000

Cuotas para los servicios que usa Dataform

Dataform usa otros servicios de Google Cloud. Estos servicios tienen cuotas a nivel de proyecto, que se aplican cuando usas Dataform.

Dataform usa los siguientes servicios de Google Cloud que tienen sus propios límites de cuota:

Límites de recursos de compilación de Dataform

Dataform aplica los siguientes límites de uso a los recursos de compilación:

Límite de uso Valor
Cantidad máxima de acciones por compilación de repositorio 5000
Cantidad máxima de dependencias por acción en el gráfico compilado 50
Tamaño máximo total de datos serializados del gráfico de acciones compilado 20 MB
Tamaño máximo de las dependencias de NPM 200 MB

Además, Dataform impone límites en el uso de CPU y memoria durante la compilación. Si se superan estos límites cuando compilas el código, esta falla y Dataform arroja un error de compilación.

Para estimar el uso de recursos de compilación de tu repositorio, consulta Estima el uso de recursos de compilación de tu repositorio.

Tu repositorio puede superar los límites de uso por los siguientes motivos:

  • Un error de bucle infinito en el código del repositorio.
  • Un error de fuga de memoria en el código del repositorio.
  • Gran tamaño de repositorio, aproximadamente más de 1,000 nodos de flujo de trabajo de SQL.
  • Gran cantidad de consultas simultáneas.

Para obtener más información sobre el tamaño del repositorio en Dataform, consulta la Descripción general del tamaño del repositorio.