Neste documento, listamos as cotas e limites do sistema que se aplicam ao Dataform. As cotas especificam a quantidade de um recurso compartilhado e contável que pode ser usado e são definidas por serviços do Google Cloud, como o Dataform. Os limites do sistema são valores fixos que não podem ser alterados.
O Google Cloud usa cotas para garantir a imparcialidade e reduzir picos no uso e na disponibilidade de recursos. Uma cota restringe quanto de um recurso do Google Cloud o projeto do Google Cloud pode usar. As cotas se aplicam a vários tipos de recursos, incluindo hardware, software e componentes de rede. Por exemplo, as cotas podem restringir o número de chamadas de API para um serviço, o número de balanceadores de carga usados simultaneamente pelo projeto ou o número de projetos que podem ser criados. As cotas protegem a comunidade de usuários do Google Cloud, impedindo a sobrecarga de serviços. As cotas também ajudam você a gerenciar seus próprios recursos do Google Cloud.
O sistema de cotas do Cloud faz o seguinte:
- Monitora o consumo de produtos e serviços do Google Cloud.
- Restringe o consumo desses recursos.
- Fornece um meio de solicitar mudanças no valor da cota
Na maioria dos casos, quando você tenta consumir mais de um recurso do que a cota permite, o sistema bloqueia o acesso ao recurso e a tarefa que você está tentando executar falha.
As cotas geralmente se aplicam ao projeto do nível Google Cloud. O uso de um recurso em um projeto não afeta a cota disponível em outro. Em um projeto do Google Cloud, as cotas são compartilhadas entre todos os aplicativos e endereços IP.
Também há limites do sistema para os recursos do Dataform. Não é possível alterar os limites.
Reposição de cota
As cotas diárias são reabastecidas em intervalos regulares ao longo do dia, refletindo a intenção de orientar comportamentos que limitem a taxa. Atualização intermitente para evitar interrupções longas quando a cota acabar. Normalmente, mais cotas são disponibilizadas em minutos, em vez do que repostos globalmente uma vez por dia.
Solicitar aumento de cota
Para aumentar ou diminuir a maioria das cotas, use o console do Google Cloud. Para mais informações, consulte Solicite uma cota maior.
Limitar uso de cotas
Para saber como limitar o uso de um recurso específico, uma cota menor do que o padrão, consulte Limite de uso.
Permissões necessárias
Para acessar e atualizar suas cotas do Dataform no você precisa das mesmas permissões de qualquer console do Google Cloud a cota de ingestão de registros. Para mais informações, consulte Permissões de cota.
Solução de problemas
Para informações sobre como resolver erros relacionados a cotas e limites do Dataform, consulte Solução de problemas.
Cotas do Dataform
O Dataform tem as seguintes cotas de API:
| Cotas | Limite |
|---|---|
| Total de solicitações por projeto e região | 6000/minute/project/region |
| Solicitações de compilação por projeto e região | 120/minuto/projeto/região |
| Solicitações de acesso a arquivos por projeto, por região | 120/minute/project/region |
| Solicitações de instalação de pacotes por projeto, por região | 120/minuto/projeto/região |
| Solicitações de invocação de fluxo de trabalho por projeto, por região | 60/minute/project/region |
| Ações do fluxo de trabalho por execução | 5000 |
Cotas de serviços usados pelo Dataform
O Dataform usa outros serviços do Google Cloud. Esses serviços têm cotas para envolvidos no projeto, que se aplicam quando você usa o Dataform.
O Dataform usa os seguintes serviços do Google Cloud que têm limites de cota próprios:
Limites de recursos de compilação do Dataform
O Dataform aplica os seguintes limites de uso aos recursos de compilação:
| Limite de uso | Valor |
|---|---|
| Número máximo de ações por compilação de repositório | 5000 |
| Número máximo de dependências por ação no grafo compilado | 50 |
| Tamanho total máximo dos dados serializados do gráfico compilado de ações | 20 MB |
| Tamanho máximo das dependências do NPM | 200 MB |
| Tamanho máximo de um repositório criptografado por CMEK | 512 MB |
| Tamanho máximo de um espaço de trabalho em um repositório criptografado por CMEK | 512 MB |
Além disso, o Dataform impõe limites ao uso de CPU e memória durante a compilação. Se esses limites forem excedidos ao compilar o código, a compilação vai falhar e o Dataform vai gerar um erro de compilação.
Para estimar o uso de recursos de compilação do seu repositório, consulte Como estimar o uso de recursos de compilação do seu repositório.
Seu repositório pode exceder os limites de uso pelos seguintes motivos:
- Um bug de loop infinito no código do repositório.
- Um bug de vazamento de memória no código do repositório.
- Tamanho grande do repositório, aproximadamente mais de 1.000 nós de fluxo de trabalho do SQL.
- Grande número de consultas simultâneas.
Para mais informações sobre o tamanho do repositório no Dataform, consulte Visão geral do tamanho do repositório.