Neste documento, listamos as quotas e os quotas que se aplicam ao Cloud Composer.
Um limite de cota restringe a quantidade de um recurso compartilhado do Google Cloud que seu projeto do Google Cloud pode usar, incluindo hardware, software e componentes de rede. Dessa forma, os limites de cota fazem parte de um sistema que:
- monitora o uso ou o consumo de produtos e serviços do Google Cloud;
- restringe o consumo desses recursos por motivos, que garantem imparcialidade e reduzem picos de uso;
- mantém as configurações que aplicam automaticamente restrições prescritas;
- fornece um meio de solicitar ou faz alterações na cota.
Na maioria dos casos, quando um limite de cota é excedido, o sistema bloqueia imediatamente o acesso ao recurso relevante do Google e a tarefa que você está tentando executar falha. Na maioria dos casos, os limites de cotas se aplicam a todos os projetos do Google Cloud. Além disso, elas são compartilhadas entre todos os aplicativos e endereços IP que usam esse projeto.
Para aumentar ou diminuir a maioria dos limites de cotas, use o console do Google Cloud. Para mais informações, consulte Solicitar um limite de cota maior.
Para aumentar ou diminuir a maioria das cotas, use o console do Google Cloud. Para mais informações, consulte Solicitar um limite de cota maior.
Há também limites para os recursos do Cloud Composer. Esses limites não estão relacionados ao sistema de cotas. Não é possível mudar os limites, a menos que seja indicado o contrário.
Cotas do Cloud Composer
As cotas nesta seção se aplicam apenas à API Cloud Composer e às ferramentas que utilizam a API Cloud Composer:
- Interface do Cloud Composer no console do Google Cloud
- Comandos
gcloud composer
egcloud beta composer
- API REST do Cloud Composer
- API RPC do Cloud Composer
- Terraform, para operações com ambientes do Cloud Composer
As cotas nesta seção não se aplicam a nenhum serviço que você usa nos DAGs do Airflow. Esses serviços usam cotas próprias.
O Cloud Composer tem as seguintes cotas de API:
Nome da cota | Limite |
---|---|
Solicitações de leitura por projeto | 1.000 unidades de cota por minuto |
Solicitações de gravação por projeto | 25.000 unidades de cota por dia |
Solicitações de gravação por projeto | 1.500 unidades de cota por minuto |
Salvar solicitações de snapshot por projeto | 5.000 unidades de cota por dia |
Salvar solicitações de snapshot por projeto | 250 unidades de cota por minuto |
Salvar solicitações de snapshot por projeto e ambiente | 2.600 unidades de cota por dia |
Carregar solicitações de snapshot por projeto | 2.500 unidades de cota por dia |
Carregar solicitações de snapshot por projeto | 150 cotas por minuto |
Carregar solicitações de snapshot por projeto por ambiente | 700 unidades de cota por dia |
As chamadas da API Cloud Composer têm os seguintes custos em unidades de cota:
Operação | Custo em unidades de cota | Tipo de solicitação |
---|---|---|
Todas as operações | 1 | Ler |
environments.create | 100 | Gravar |
environments.patch | 100 | Gravar |
environments.delete | 100 | Gravar |
environments.databaseFailover | 100 | Gravar |
environments.restartWebServer | 100 | Gravar |
environments.checkUpgrade | 100 | Gravar |
environments.executeAirflowCommand | 25 | Gravar |
environments.stopAirflowCommand | 25 | Gravar |
environments.saveSnapshot | 50 | Salvar snapshot |
environments.loadSnapshot | 50 | Carregar snapshot |
Exemplos de cálculo de cota
Uma solicitação
environments.create
consome 100 unidades de cota das cotas de gravação.Há duas dessas cotas para solicitações de gravação:
- Solicitações de gravação por projeto e por dia
- Solicitações de gravação por projeto e por minuto
Essa operação consome 100 unidades de cota de cada cota.
Se você executar uma solicitação
environments.restartWebServer
posteriormente, outras 100 unidades de cota serão consumidas a partir das mesmas cotas, porqueenvironments.restartWebServer
compartilha cotas com a solicitaçãoenvironments.create
.Uma solicitação
environments.saveSnapshot
consome 50 unidades de cota de três cotas:- Salvar solicitações de snapshot por projeto/dia
- Salvar solicitações de snapshot por projeto e por minuto
- Solicitações de salvamento de snapshots por projeto, ambiente e dia
Essas três cotas limitam o número máximo de solicitações
environments.saveSnapshot
. Cada um faz isso de forma diferente.O limite de cota para Salvar solicitações de snapshots por projeto e por dia é de 2.500 unidades de cota. É possível executar até 50 solicitações
environments.saveSnapshot
por dia no projeto.O limite de cota para Salvar solicitações de snapshots por projeto a cada minuto é de 150 unidades de cota. Em um minuto, é possível executar até três solicitações
environments.saveSnapshot
no projeto.Por fim, o limite de cota Salvar solicitações de snapshot por projeto, ambiente e dia é de 750 unidades de cota. É possível executar até 15 solicitações
environments.saveSnapshot
todos os dias para um único ambiente. Se todas as unidades de cota forem consumidas para um ambiente específico, ainda será possível executar solicitaçõesenvironments.saveSnapshot
para outros ambientes no seu projeto.
Cotas para outros serviços
O Cloud Composer usa outros serviços do Google Cloud. Esses serviços têm cotas de nível de projeto, que se aplicam quando você usa o Cloud Composer.
Por exemplo, as cotas do Cloud Storage se aplicam a todos os buckets associados a ambientes no seu projeto. Como outro exemplo, os clusters do ambiente usam o Google Kubernetes Engine. Portanto, as cotas para GKE se aplicam a todos os clusters associados aos ambientes no seu projeto.
Cotas para serviços usados pelo Cloud Composer
Os serviços a seguir são usados pelo Cloud Composer. Esses serviços têm limites de cota próprios:
- Cotas do Cloud Deployment Manager
- Cotas do Google Kubernetes Engine
- Cotas do Compute Engine
- Cotas do Cloud Storage
- Cotas do Pub/Sub
- Cotas do Cloud Logging
- Cotas do Cloud Monitoring
- Cotas do Cloud Build (aplicáveis a ambientes que usam pacotes PyPI personalizados)
- Cotas do Artifact Registry
- Cotas do Identity and Access Management
- Cotas da nuvem privada virtual (não se aplica a ambientes que usam o Private Service Connect)
- Cotas do Resource Manager
- Cotas do Diretório de serviços
Cotas para serviços opcionais
É possível usar os operadores do Airflow com serviços do Google Cloud. Qualquer serviço usado em um DAG está sujeito às cotas dele.