Neste documento, descrevemos as cotas e os limites que se aplicam a o Dataform.
O Google Cloud usa cotas para garantir imparcialidade e reduzir picos no uso e na disponibilidade dos recursos. Uma cota restringe quanto um valor recurso do Google Cloud que seu projeto do Google Cloud pode usar. Cotas se aplicam a vários tipos de recursos, incluindo hardware, software e componentes de solução. Por exemplo, as cotas podem restringir o número de chamadas de API serviço, o número de balanceadores de carga usados simultaneamente por seu projeto ou a o número de projetos que podem ser criados. As cotas protegem a comunidade de usuários do Google Cloud impedindo a sobrecarga de serviços. As cotas também ajudam para você gerenciar seus próprios recursos do Google Cloud.
O sistema de cotas do Cloud faz o seguinte:
- monitora seu consumo de produtos e serviços do Google Cloud;
- Restringe o consumo desses recursos.
- Oferece um meio de solicitar mudanças no valor da cota
Na maioria dos casos, quando você tenta consumir mais de um recurso do que a cota dele permite, o sistema bloqueia o acesso ao recurso e a tarefa que você está tentando realizar.
As cotas geralmente se aplicam ao projeto do Google Cloud nível O uso de um recurso em um projeto não afeta sua cota disponível em outro projeto. Em um projeto do Google Cloud, as cotas compartilhados entre todos os aplicativos e endereços IP.
Também há limites para os recursos do Dataform. Esses limites não estão relacionados ao sistema de cotas. Não é possível mudar os limites, a menos que seja indicado o contrário.
Reposição de cota
As cotas diárias são reabastecidas em intervalos regulares ao longo do dia, refletindo a intenção de orientar comportamentos que limitem a taxa. Atualização intermitente para evitar interrupções longas quando a cota acabar. Normalmente, mais cotas são disponibilizadas em minutos, em vez do que repostos globalmente uma vez por dia.
Solicitar aumento de cota
Para aumentar ou diminuir a maioria das cotas, use o console do Google Cloud. Para mais informações, consulte Solicite uma cota maior.
Limitar uso de cotas
Para saber como limitar o uso de um recurso específico, uma cota menor do que o padrão, consulte Limite de uso.
Permissões necessárias
Para acessar e atualizar suas cotas do Dataform no você precisa das mesmas permissões de qualquer console do Google Cloud a cota de ingestão de registros. Para mais informações, consulte Permissões de cota.
Solução de problemas
Para saber como resolver erros relacionados ao Dataform cotas e limites, consulte a Solução de problemas.
Cotas do Dataform
O Dataform tem as seguintes cotas de API:
| Cotas | Limite |
|---|---|
| Total de solicitações por projeto, por região | 6000/minute/project/region |
| Solicitações de compilação por projeto, por região | 120/minute/project/region |
| Solicitações de acesso a arquivos por projeto, por região | 120/minute/project/region |
| Solicitações de instalação de pacotes por projeto, por região | 120/minute/project/region |
| Solicitações de invocação de fluxo de trabalho por projeto, por região | 60/minute/project/region |
| Ações do fluxo de trabalho por execução | 5000 |
Cotas de serviços usados pelo Dataform
O Dataform usa outros serviços do Google Cloud. Esses serviços têm cotas para envolvidos no projeto, que se aplicam quando você usa o Dataform.
O Dataform usa os seguintes serviços do Google Cloud que têm limites de cota próprios:
Limites de recursos de compilação do Dataform
O Dataform aplica os seguintes limites de uso aos recursos de compilação:
| Limite de uso | Valor |
|---|---|
| Número máximo de ações por compilação de repositório | 5000 |
| Número máximo de dependências por ação no grafo compilado | 50 |
| Tamanho total máximo dos dados serializados do gráfico compilado de ações | 20 MB |
| Tamanho máximo das dependências do NPM | 200 MB |
Além disso, o Dataform impõe limites ao uso de CPU e memória durante a compilação. Se esses limites forem excedidos ao compilar o código, a compilação vai falhar. e o Dataform gera um erro de compilação.
Para estimar o uso dos recursos de compilação do seu repositório, consulte Estimar o uso dos recursos de compilação do seu repositório.
Seu repositório pode exceder os limites de uso pelos seguintes motivos:
- Um bug de loop infinito no código do repositório.
- Um bug de vazamento de memória no código do repositório.
- Repositório grande, aproximadamente mais de 1.000 nós de fluxo de trabalho SQL.
- Grande número de consultas simultâneas.
Para mais informações sobre o tamanho do repositório no Dataform, consulte Visão geral do tamanho do repositório.