Neste documento, listamos as quotas e os quotas que se aplicam ao Dataform.
Uma cota restringe quanto de um determinado recurso compartilhado do Google Cloud o projeto do Google Cloud pode usar, incluindo hardware, software e componentes de rede. Dessa forma, as cotas fazem parte de um sistema que:
- monitora o uso ou o consumo de produtos e serviços do Google Cloud;
- Restringe o consumo desses recursos, por motivos que incluem garantir imparcialidade e reduzir picos de uso.
- mantém as configurações que aplicam automaticamente restrições prescritas;
- fornece um meio de solicitar ou faz alterações na cota.
Na maioria dos casos, quando uma cota é excedida, o sistema bloqueia imediatamente o acesso ao recurso relevante do Google. Além disso, a tarefa que você está tentando executar falha. Na maioria dos casos, as cotas se aplicam a todos os projetos do Google Cloud. Além disso, elas são compartilhadas entre todos os aplicativos e endereços IP que usam esse projeto.
Os recursos do Dataform também são limitados. Esses limites não estão relacionados ao sistema de cotas. Não é possível mudar os limites, a menos que seja indicado o contrário.
Reposição de cota
As cotas diárias são reabastecidas em intervalos regulares ao longo do dia, refletindo a intenção de orientar comportamentos que limitem a taxa. A atualização intermitente também é feita para evitar interrupções longas quando a cota é esgotada. Normalmente, mais cotas são disponibilizadas em minutos em vez de repostos globalmente uma vez por dia.
Solicitar aumento de cota
Para aumentar ou diminuir a maioria das cotas, use o console do Google Cloud. Para mais informações, consulte Solicitar uma cota maior.
Limitar uso de cotas
Para saber como limitar o uso de um recurso específico especificando uma cota menor que o padrão, consulte Limitar o uso.
Permissões necessárias
Para visualizar e atualizar suas cotas do Dataform no Console do Google Cloud, você precisa das mesmas permissões de qualquer cota do Google Cloud. Para mais informações, consulte Permissões de cota.
Solução de problemas
Para informações sobre solução de problemas relacionados a cotas e limites do Dataform, consulte Solução de problemas.
Cotas do Dataform
O Dataform tem as seguintes cotas de API:
| Cotas | Limite |
|---|---|
| Total de solicitações por projeto, por região | 6000/minute/project/region |
| Solicitações de compilação por projeto e região | 120/minute/project/region |
| Solicitações de acesso a arquivos por projeto e região | 120/minute/project/region |
| Solicitações de instalação de pacotes por projeto e região | 120/minute/project/region |
| Solicitações de invocação de fluxo de trabalho por projeto e região | 60/minute/project/region |
| Ações do fluxo de trabalho por execução | 5000 |
Cotas de serviços usados pelo Dataform
O Dataform usa outros serviços do Google Cloud. Esses serviços têm cotas para envolvidos no projeto, que se aplicam quando você usa o Dataform.
O Dataform usa os seguintes serviços do Google Cloud que têm os próprios limites de cota:
Limites de recursos de compilação do Dataform
O Dataform aplica os seguintes limites de uso aos recursos de compilação:
| Limite de uso | Valor |
|---|---|
| Número máximo de ações por compilação de repositório | 5000 |
| Número máximo de dependências por ação no gráfico compilado | 50 |
| Tamanho total máximo dos dados serializados do gráfico de ações compilado | 20 MB |
| Tamanho máximo das dependências do NPM | 200 MB |
Além disso, o Dataform impõe limites ao uso de CPU e memória durante a compilação. Se esses limites forem excedidos na compilação do código, a compilação falhará, e o Dataform vai gerar um erro.
Para estimar o uso dos recursos de compilação do seu repositório, consulte Estimar o uso dos recursos de compilação do seu repositório.
Seu repositório pode exceder os limites de uso pelos seguintes motivos:
- Um bug de loop infinito no código do repositório.
- Um bug de vazamento de memória no código do repositório.
- Grande tamanho de repositório, aproximadamente mais de 1.000 nós de fluxo de trabalho SQL.
- Grande número de consultas simultâneas.
Para mais informações sobre o tamanho do repositório no Dataform, consulte Visão geral do tamanho do repositório.