Neste documento, descrevemos as cotas e os limites que se aplicam a Cloud Composer
O Google Cloud usa cotas para garantir a imparcialidade e reduzir picos no uso e na disponibilidade de recursos. Uma cota restringe quanto de um recurso do Google Cloud o projeto do Google Cloud pode usar. As cotas se aplicam a vários tipos de recursos, incluindo hardware, software e componentes de rede. Por exemplo, as cotas podem restringir o número de chamadas de API para um serviço, o número de balanceadores de carga usados simultaneamente pelo projeto ou o número de projetos que podem ser criados. As cotas protegem a comunidade de usuários do Google Cloud, impedindo a sobrecarga de serviços. As cotas também ajudam você a gerenciar seus próprios recursos do Google Cloud.
O sistema de cotas do Cloud faz o seguinte:
- Monitora o consumo de produtos e serviços do Google Cloud.
- Restringe o consumo desses recursos.
- Fornece um meio de solicitar mudanças no valor da cota
Na maioria dos casos, quando você tenta consumir mais de um recurso do que a cota permite, o sistema bloqueia o acesso ao recurso e a tarefa que você está tentando executar falha.
As cotas geralmente se aplicam ao projeto do nível Google Cloud. O uso de um recurso em um projeto não afeta a cota disponível em outro. Em um projeto do Google Cloud, as cotas são compartilhadas entre todos os aplicativos e endereços IP.
Para aumentar ou diminuir a maioria das cotas, use o console do Google Cloud. Para mais informações, consulte Solicitar uma cota maior.
Também há limites para os recursos do Cloud Composer. Esses limites não estão relacionados ao sistema de cotas. Não é possível mudar os limites, a menos que seja indicado o contrário.
Cotas do Cloud Composer
As cotas nesta seção se aplicam apenas à API Cloud Composer e ferramentas que utilizam a API Cloud Composer:
- Interface do Cloud Composer no console do Google Cloud
- Comandos
gcloud composer
egcloud beta composer
- API REST do Cloud Composer
- API RPC do Cloud Composer
- Terraform, para operações com ambientes do Cloud Composer
As cotas nesta seção não se aplicam a nenhum serviço que você usa na sua DAGs do Airflow. Esses serviços usam as próprias cotas.
O Cloud Composer tem as seguintes cotas de API:
Nome da cota | Limite |
---|---|
Solicitações de leitura por projeto | 1.000 unidades de cota por minuto |
Solicitações de gravação por projeto | 25.000 unidades de cota por dia |
Solicitações de gravação por projeto | 1.500 unidades de cota por minuto |
Salvar solicitações de snapshot por projeto | 5.000 unidades de cota por dia |
Salvar solicitações de snapshot por projeto | 250 unidades de cota por minuto |
Salvar solicitações de snapshot por projeto por ambiente | 2.600 unidades de cota por dia |
Carregar solicitações de snapshot por projeto | 2.500 unidades de cota por dia |
Carregar solicitações de snapshot por projeto | 150 cota por minuto |
Carregar solicitações de snapshot por projeto por ambiente | 700 unidades de cota por dia |
As chamadas de API do Cloud Composer têm os seguintes custos em unidades de cota:
Operação | Custo em unidades de cota | Tipo de solicitação |
---|---|---|
Todas as operações | 1 | Ler |
environments.create | 100 | Gravação |
environments.patch | 100 | Gravação |
environments.delete | 100 | Gravação |
environments.databaseFailover | 100 | Gravação |
environments.restartWebServer | 100 | Gravação |
environments.checkUpgrade | 100 | Gravação |
environments.executeAirflowCommand | 25 | Gravação |
environments.stopAirflowCommand | 25 | Gravação |
environments.saveSnapshot | 50 | Salvar snapshot |
environments.loadSnapshot | 50 | Carregar snapshot |
Exemplos de cálculo de cota
Uma solicitação
environments.create
consome 100 unidades de cota do Cotas de gravação.Existem duas dessas cotas para solicitações de gravação:
- Solicitações de gravação por projeto por dia
- Solicitações de gravação por projeto e por minuto
Essa operação consome 100 unidades de cota de cada cota.
Se você executar uma
environments.restartWebServer
depois da solicitação, outras 100 unidades de cota são consumidas do mesmo cotas, poisenvironments.restartWebServer
compartilha cotas com aenvironments.create
.Uma solicitação
environments.saveSnapshot
consome 50 unidades de cota de três cotas:- Salvar solicitações de snapshot por projeto, por dia
- Salvar solicitações de snapshot por projeto a cada minuto
- Salvar solicitações de snapshot por projeto, por ambiente e por dia
Essas três cotas limitam o número máximo de
environments.saveSnapshot
solicitações. Cada um faz isso de maneira diferente.O limite de cota para Salvar solicitações de snapshot por projeto e por dia é de 2.500. unidades de cota. É possível executar até 50 solicitações
environments.saveSnapshot
em seu projeto todos os dias.O limite de cota para Salvar solicitações de snapshot por projeto e por minuto é de 150. unidades de cota. Em um minuto, você pode executar até três Solicitações
environments.saveSnapshot
no seu projeto.Por fim, a caixa Salvar solicitações de snapshot por projeto, por ambiente e por dia o limite de cota é de 750 unidades de cota. É possível executar até 15 Solicitações
environments.saveSnapshot
diárias para um único ambiente. Se todas as unidades de cota forem consumidas em um ambiente específico, ainda será possível executar solicitaçõesenvironments.saveSnapshot
para outros ambientes na sua em um projeto de IA.
Cotas para outros serviços
O Cloud Composer usa outros serviços do Google Cloud. Esses serviços têm cotas para envolvidos no projeto, que se aplicam quando você usa o Cloud Composer.
Por exemplo, as cotas do Cloud Storage se aplicam a todos os buckets e ambientes em seu projeto. Como outro exemplo, os clusters do ambiente usam o Google Kubernetes Engine. Portanto, as cotas para GKE se aplicam a todos os clusters associados a ambientes seu projeto.
Cotas de serviços usados pelo Cloud Composer
Os serviços a seguir são usados pelo Cloud Composer. Esses serviços têm limites de cota próprios:
- Cotas do Cloud Deployment Manager
- Cotas do Google Kubernetes Engine
- Cotas do Compute Engine
- Cotas do Cloud Storage
- Cotas do Pub/Sub
- Cotas do Cloud Logging
- Cotas do Cloud Monitoring
- Cotas do Cloud Build (aplicadas a ambientes que usam pacotes PyPI personalizados)
- Cotas do Artifact Registry
- Cotas do Identity and Access Management
- Cotas de nuvem privada virtual (não se aplica a ambientes que usar o Private Service Connect)
- Cotas do Resource Manager
- Cotas do Diretório de serviços
Cotas para serviços opcionais
Você pode usar Operadores do Airflow com os serviços do Google Cloud. Qualquer serviço usado em um DAG está sujeito as cotas desse serviço.