En este documento, se enumeran las cuotas y los límites del sistema que se aplican a Dataform. Las cuotas especifican la cantidad de un recurso compartido contable que pueden usar y los definen los servicios de Google Cloud, como Dataform. Los límites del sistema son valores fijos que no se pueden cambiar.
Google Cloud usa cuotas para garantizar la equidad y reducir los aumentos repentinos en el uso y la disponibilidad de los recursos. Una cuota restringe la cantidad de un recurso de Google Cloud que puede usar tu proyecto de Google Cloud. Las cuotas se aplican a una variedad de tipos de recursos, incluidos los componentes de hardware, software y red. Por ejemplo, las cuotas pueden restringir la cantidad de llamadas a la API para un servicio, la cantidad de balanceadores de cargas que se usan en simultáneo en tu proyecto o la cantidad de proyectos que puedes crear. Las cuotas protegen a la comunidad de usuarios de Google Cloud mediante la prevención de la sobrecarga de los servicios. También te ayudan a administrar tus propios recursos de Google Cloud.
El sistema de cuotas Cloud realiza las siguientes acciones:
- Supervisa el consumo de productos y servicios de Google Cloud.
- Restringe el consumo de esos recursos.
- Proporciona un medio para solicitar cambios en el valor de la cuota.
En la mayoría de los casos, cuando intentas consumir más de lo que permite la cuota de un recurso, el sistema bloquea el acceso al recurso, y la tarea que intentas realizar falla.
Por lo general, las cuotas se aplican a nivel del proyecto de Google Cloud. El uso de un recurso en un proyecto no afecta tu cuota disponible en otro proyecto. Dentro de un proyecto de Google Cloud, las cuotas se comparten entre todas las aplicaciones y direcciones IP.
También hay límites del sistema para los recursos de Dataform. No se pueden cambiar los límites del sistema.
Restablecimiento de cuotas
Las cuotas diarias se restablecen en intervalos regulares durante el día a fin de reflejar su propósito de orientar comportamientos que limiten las frecuencias. También se realizan actualizaciones intermitentes para evitar interrupciones prolongadas cuando una cuota se agota. Por lo general, se habilita más capacidad de la cuota en unos minutos en lugar de restablecerla por completo una vez al día.
Solicitar un aumento de cuota
Para aumentar o disminuir la mayoría de las cuotas, usa la consola de Google Cloud. Para obtener más información, consulta Solicita una cuota mayor.
Limita el uso de cuota
Para aprender a limitar el uso de un recurso en particular especificando una menor que la predeterminada, consulta Limitar el uso.
Permisos necesarios
Para ver y actualizar tus cuotas de Dataform en la consola de Google Cloud, necesitas los mismos permisos que cualquier cuota de Google Cloud. Para obtener más información, consulta Permisos de cuota.
Soluciona problemas
Si deseas obtener más información para solucionar errores relacionados con las cuotas y los límites de Dataform, consulta Soluciona problemas.
Cuotas de Dataform
Dataform tiene las siguientes cuotas de API:
| Cuotas | Límite |
|---|---|
| Total de solicitudes por proyecto y por región | 6000/minute/project/region |
| Solicitudes de compilación por proyecto y por región | 120 por minuto, proyecto o región |
| Solicitudes de acceso a archivos por proyecto y por región | 120 por minuto, proyecto o región |
| Solicitudes de instalación de paquetes por proyecto y por región | 120/minute/project/region |
| Solicitudes de invocación de flujo de trabajo por proyecto, por región | 60 por minuto, por proyecto o por región |
| Acciones del flujo de trabajo por ejecución | 5000 |
Cuotas de los servicios que usa Dataform
Dataform usa otros servicios de Google Cloud. Estos servicios tienen cuotas a nivel del proyecto, que se aplican cuando usas Dataform.
Dataform usa los siguientes servicios de Google Cloud que tienen sus propios límites de cuota:
Límites de recursos de compilación de Dataform
Dataform aplica los siguientes límites de uso a los recursos de compilación:
| Límite de uso | Valor |
|---|---|
| Cantidad máxima de acciones por compilación del repositorio | 5000 |
| Cantidad máxima de dependencias por acción en el gráfico compilado | 50 |
| Tamaño máximo total de datos serializados del gráfico compilado de acciones | 20 MB |
| Tamaño máximo de las dependencias de NPM | 200 MB |
| Tamaño máximo de un repositorio encriptado con CMEK | 512 MB |
| Tamaño máximo de un espacio de trabajo en un repositorio encriptado con CMEK | 512 MB |
Además, Dataform impone límites en el uso de CPU y memoria durante la compilación. Si se superan estos límites cuando compilas tu código, la compilación falla y Dataform arroja un error de compilación.
Para estimar el uso de recursos de compilación de tu repositorio, haz lo siguiente: consulta Calcula el uso de recursos de compilación de tu repositorio.
Tu repositorio podría exceder los límites de uso por los siguientes motivos:
- Un error de bucle infinito en el código del repositorio.
- Un error de fuga de memoria en el código del repositorio.
- Tamaño de repositorio grande, aproximadamente más de 1,000 nodos de flujo de trabajo de SQL
- Gran cantidad de consultas simultáneas.
Para obtener más información sobre el tamaño del repositorio en Dataform, consulta Descripción general del tamaño del repositorio.