Este documento lista as cotas e os limites do sistema que se aplicam ao Dataform.
- As cotas especificam a quantidade de um recurso compartilhado e contável que pode ser usado. As cotas são definidas por serviços Google Cloud , como o Dataform.
- Os limites do sistema são valores fixos que não podem ser alterados.
Google Cloud usa cotas para garantir a imparcialidade e reduzir picos no uso e na disponibilidade de recursos. Uma cota restringe quanto de um Google Cloud recurso o Google Cloud projeto pode usar. As cotas se aplicam a vários tipos de recursos, incluindo hardware, software e componentes de rede. Por exemplo, as cotas podem restringir o número de chamadas de API para um serviço, o número de balanceadores de carga usados simultaneamente pelo projeto ou o número de projetos que podem ser criados. As cotas protegem a comunidade de usuários doGoogle Cloud , impedindo a sobrecarga de serviços. As cotas também ajudam você a gerenciar seus próprios recursos Google Cloud .
O sistema de cotas do Cloud faz o seguinte:
- Monitora o consumo de Google Cloud produtos e serviços
- Restringe o consumo desses recursos.
- Fornece um meio de solicitar mudanças no valor da cota
Na maioria dos casos, quando você tenta consumir mais de um recurso do que a cota permite, o sistema bloqueia o acesso ao recurso e a tarefa que você está tentando executar falha.
As cotas geralmente se aplicam ao projeto do nível Google Cloud. O uso de um recurso em um projeto não afeta a cota disponível em outro. Em um projeto do Google Cloud, as cotas são compartilhadas entre todos os aplicativos e endereços IP.
Também há limites de sistema nos recursos do Dataform. Não é possível alterar os limites.
Reposição de cota
As cotas diárias são reabastecidas em intervalos regulares ao longo do dia, refletindo a intenção de orientar comportamentos que limitem a taxa. A atualização intermitente também é feita para evitar interrupções longas quando a cota estiver esgotada. Normalmente, as cotas são disponibilizadas em minutos em vez de serem reabastecidas em sua totalidade uma vez por dia.
Solicitar aumento de cota
Para aumentar ou diminuir a maioria das cotas, use o console do Google Cloud. Para mais informações, consulte Solicitar uma cota maior.
Limitar uso de cotas
Para saber como limitar o uso de um recurso específico especificando uma cota menor que a padrão, consulte Limitar o uso.
Permissões necessárias
Para visualizar e atualizar suas cotas do Dataform no console do Google Cloud, você precisa das mesmas permissões que qualquer cota do Google Cloud. Para mais informações, consulte Permissões de cota.
Solução de problemas
Para informações sobre como resolver erros relacionados a cotas e limites do Dataform, consulte Solução de problemas.
Cotas do Dataform
A Dataform tem as seguintes cotas de API:
| Cotas | Limite |
|---|---|
| Total de solicitações por projeto e região | 6.000/minuto/projeto/região |
| Solicitações de compilação por projeto e região | 120/minuto/projeto/região |
| Solicitações de acesso a arquivos por projeto e região | 120/minuto/projeto/região |
| Solicitações de instalação de pacotes por projeto e região | 120/minuto/projeto/região |
| Solicitações de invocação de fluxo de trabalho por projeto e região | 60/minuto/projeto/região |
| Ações do fluxo de trabalho por execução | 5000 |
Cotas de serviços usados pelo Dataform
O Dataform usa outros serviços Google Cloud . Esses serviços têm cotas de nível de projeto, que são aplicadas quando você usa o Dataform.
O Dataform usa os seguintes serviços Google Cloud , que têm limites de cota próprios:
Limites de recursos de compilação do Dataform
O Dataform aplica os seguintes limites de uso aos recursos de compilação:
| Limite de uso | Valor |
|---|---|
| Número máximo de ações por compilação de repositório | 5000 |
| Número máximo de dependências por ação no gráfico compilado | 50 |
| Tamanho total máximo de dados serializados do gráfico compilado de ações | 20 MB |
| Tamanho máximo das dependências do NPM | 200 MB |
| Tamanho máximo de um repositório criptografado por CMEK | 512 MB |
| Tamanho máximo de um espaço de trabalho em um repositório criptografado por CMEK | 512 MB |
Além disso, o Dataform impõe limites ao uso de CPU e memória durante a compilação. Se esses limites forem excedidos ao compilar o código, a compilação vai falhar e o Dataform vai gerar um erro de compilação.
Para estimar o uso de recursos de compilação do seu repositório, consulte Como estimar o uso de recursos de compilação do seu repositório.
Seu repositório pode exceder os limites de uso pelos seguintes motivos:
- Um bug de loop infinito no código do repositório.
- Um bug de vazamento de memória no código do repositório.
- Tamanho grande do repositório, aproximadamente mais de 1.000 nós de fluxo de trabalho SQL.
- Grande número de consultas simultâneas.
Para mais informações sobre o tamanho do repositório no Dataform, consulte Visão geral do tamanho do repositório.