Este documento lista as quotas e os limites do sistema que se aplicam ao Dataform.
- As quotas especificam a quantidade de um recurso partilhado contabilizável que pode usar. As quotas são definidas por Google Cloud serviços como o Dataform.
- Os limites do sistema são valores fixos que não podem ser alterados.
Google Cloud usa quotas para ajudar a garantir a equidade e reduzir os picos na utilização e disponibilidade de recursos. Uma quota restringe a quantidade de um Google Cloud recurso que o seu Google Cloud projeto pode usar. As quotas aplicam-se a uma variedade de tipos de recursos, incluindo componentes de hardware, software e rede. Por exemplo, as quotas podem restringir o número de chamadas API para um serviço, o número de balanceadores de carga usados em simultâneo pelo seu projeto ou o número de projetos que pode criar. As quotas protegem a comunidade de Google Cloud utilizadores, impedindo a sobrecarga dos serviços. As quotas também ajudam a gerir os seus próprios Google Cloud recursos.
O sistema de quotas da nuvem faz o seguinte:
- Monitoriza o seu consumo de Google Cloud produtos e serviços
- Restringe o seu consumo desses recursos
- Oferece uma forma de pedir alterações ao valor da quota e automatizar os ajustes de quotas
Na maioria dos casos, quando tenta consumir mais de um recurso do que a respetiva quota permite, o sistema bloqueia o acesso ao recurso e a tarefa que está a tentar realizar falha.
Geralmente, as quotas aplicam-se ao nível do Google Cloud projeto A sua utilização de um recurso num projeto não afeta a sua quota disponível noutro projeto. Num Google Cloud projeto, as quotas são partilhadas por todas as aplicações e endereços IP.
Também existem limites do sistema nos recursos do Dataform. Não é possível alterar os limites do sistema.
Reposição da quota
As quotas diárias são repostas a intervalos regulares ao longo do dia, refletindo a intenção de orientar os comportamentos de limitação de taxa. A atualização intermitente também é feita para evitar interrupções longas quando a quota se esgota. Normalmente, é disponibilizada mais quota em minutos, em vez de ser reposta globalmente uma vez por dia.
Peça um aumento da quota
Para aumentar ou diminuir a maioria das quotas, use a Google Cloud consola. Para mais informações, consulte o artigo Peça um ajuste da quota.
Limite a utilização da quota
Para saber como pode limitar a utilização de um recurso específico, especificando uma quota inferior à predefinição, consulte o artigo Limite a utilização.
Autorizações necessárias
Para ver e atualizar as suas quotas do Dataform na Google Cloud consola, precisa das mesmas autorizações que para qualquer Google Cloud quota. Para mais informações, consulte o artigo Autorizações de quota.
Resolução de problemas
Para obter informações sobre a resolução de problemas relacionados com as quotas e os limites do Dataform, consulte o artigo Resolução de problemas.
Quotas do Dataform
O Dataform tem as seguintes quotas da API:
| Quotas | Limite |
|---|---|
| Total de pedidos por projeto, por região | 6000/minute/project/region |
| Solicitações de compilação por projeto, por região | 120/minute/project/region |
| Solicitações de acesso a ficheiros por projeto e por região | 120/minute/project/region |
| Pedidos de instalação de pacotes por projeto e por região | 120/minute/project/region |
| Pedidos de invocação de fluxo de trabalho por projeto, por região | 60/minute/project/region |
| Ações do fluxo de trabalho por execução | 5000 |
Quotas para serviços usados pelo Dataform
O Dataform usa outros Google Cloud serviços. Estes serviços têm quotas ao nível do projeto, que se aplicam quando usa o Dataform.
O Dataform usa os seguintes Google Cloud serviços que têm os seus próprios limites de quota:
Limites de recursos de compilação do Dataform
O Dataform aplica os seguintes limites de utilização aos recursos de compilação:
| Limite de utilização | Valor |
|---|---|
| Número máximo de ações por compilação de repositório | 5000 |
| Número máximo de dependências por ação no gráfico compilado | 50 |
| Tamanho máximo total dos dados serializados do gráfico de ações compilado | 20 MB |
| Tamanho máximo das dependências do NPM | 200 MB |
| Tamanho máximo de um repositório encriptado com CMEK | 512 MB |
| Tamanho máximo de um espaço de trabalho num repositório encriptado com CMEK | 512 MB |
Além disso, o Dataform impõe limites à utilização da CPU e da memória durante a compilação. Se estes limites forem excedidos quando compila o código, a compilação falha e o Dataform apresenta um erro de compilação.
Para estimar a utilização de recursos de compilação do seu repositório, consulte o artigo Estime a utilização de recursos de compilação do seu repositório.
O seu repositório pode exceder os limites de utilização pelos seguintes motivos:
- Um erro de repetição infinita no código do repositório.
- Um erro de fuga de memória no código do repositório.
- Tamanho do repositório grande, aproximadamente mais de 1000 nós de fluxo de trabalho.
- Grande número de consultas simultâneas.
Para mais informações sobre o tamanho do repositório no Dataform, consulte o artigo Vista geral do tamanho do repositório.