Neste documento, listamos as cotas e os limites do sistema que se aplicam ao Dataform.
- As cotas têm valores padrão, mas geralmente é possível solicitar ajustes.
- Os limites do sistema são valores fixos que não podem ser alterados.
OGoogle Cloud usa cotas para garantir a imparcialidade e reduzir picos no uso e na disponibilidade de recursos. Uma cota restringe a alocação de um recurso doGoogle Cloud para uso do seu projeto do Google Cloud . As cotas se aplicam a vários tipos de recursos, incluindo hardware, software e componentes de rede. Por exemplo, elas podem restringir o número de chamadas de API para um serviço, o número de balanceadores de carga usados simultaneamente pelo projeto ou o número de projetos que podem ser criados. As cotas protegem a comunidade de usuários doGoogle Cloud , impedindo a sobrecarga de serviços. Elas também ajudam você a gerenciar seus próprios recursos do Google Cloud .
O sistema de cotas do Cloud faz o seguinte:
- Monitora o consumo de produtos e serviços do Google Cloud .
- Restringe o consumo desses recursos.
- Possibilita a solicitação de mudanças no valor das cotas e a automatização de ajustes de cotas.
Na maioria dos casos, quando você tenta consumir mais de um recurso do que a cota permite, o sistema bloqueia o acesso ao recurso, e a tarefa que você está tentando executar falha.
As cotas geralmente se aplicam ao nível do projeto do Google Cloud . O uso de um recurso em um projeto não afeta a cota disponível em outro. Em um projeto do Google Cloud , as cotas são compartilhadas entre todos os aplicativos e endereços IP.
Também há limites de sistema nos recursos do Dataform. Os limites do sistema não podem ser alterados.
Reposição de cota
As cotas diárias são reabastecidas em intervalos regulares ao longo do dia, refletindo a intenção de orientar comportamentos que limitem a taxa. A atualização intermitente também é feita para evitar interrupções longas quando a cota estiver esgotada. Normalmente, as cotas são disponibilizadas em minutos em vez de serem reabastecidas em sua totalidade uma vez por dia.
Solicitar aumento de cota
Para aumentar ou diminuir a maioria das cotas, use o console do Google Cloud . Para mais informações, consulte Solicitar um ajuste de cota.
Limitar uso de cotas
Para saber como limitar o uso de um recurso específico especificando uma cota menor que a padrão, consulte Limitar o uso.
Permissões necessárias
Para visualizar e atualizar suas cotas do Dataform no console doGoogle Cloud , você precisa das mesmas permissões que qualquer cota do Google Cloud. Para mais informações, consulte Permissões de cota.
Solução de problemas
Para informações sobre como solucionar erros relacionados a cotas e limites do Dataform, consulte Solução de problemas.
Cotas do Dataform
O Dataform tem as seguintes cotas de API:
| Cotas | Limite |
|---|---|
| Total de solicitações por projeto e região | 6000/minute/project/region |
| Solicitações de compilação por projeto e região | 120/minute/project/region |
| Solicitações de acesso a arquivos por projeto e região | 120/minute/project/region |
| Solicitações de instalação de pacotes por projeto e região | 120/minute/project/region |
| Solicitações de invocação de fluxo de trabalho por projeto e região | 60/minute/project/region |
| Ações do fluxo de trabalho por execução | 5000 |
Cotas para serviços usados pelo Dataform
O Dataform usa outros serviços Google Cloud . Esses serviços têm cotas de nível de projeto, que são aplicadas quando você usa o Dataform.
O Dataform usa os seguintes serviços do Google Cloud que têm limites de cota próprios:
Limites de recursos de compilação do Dataform
O Dataform aplica os seguintes limites de uso aos recursos de compilação:
| Limite de uso | Valor |
|---|---|
| Número máximo de ações por compilação de repositório | 5000 |
| Número máximo de dependências por ação no gráfico compilado | 50 |
| Tamanho máximo total de dados serializados do gráfico compilado de ações | 20 MB |
| Tamanho máximo das dependências do NPM | 200 MB |
| Tamanho máximo de um repositório criptografado por CMEK | 512 MB |
| Tamanho máximo de um espaço de trabalho em um repositório criptografado com CMEK | 512 MB |
Além disso, o Dataform impõe limites ao uso de CPU e memória durante a compilação. Se esses limites forem excedidos ao compilar o código, a compilação vai falhar e o Dataform vai gerar um erro de compilação.
Para estimar o uso de recursos de compilação do seu repositório, consulte Estimar o uso de recursos de compilação do seu repositório.
Seu repositório pode exceder os limites de uso pelos seguintes motivos:
- Um bug de loop infinito no código do repositório.
- Um bug de vazamento de memória no código do repositório.
- Tamanho grande do repositório, aproximadamente mais de 1.000 nós de fluxo de trabalho.
- Grande número de consultas simultâneas.
Para mais informações sobre o tamanho do repositório no Dataform, consulte Visão geral do tamanho do repositório.