Cotas e limites

Neste documento, listamos as quotas e os quotas que se aplicam ao Cloud Composer. Para mais informações sobre cotas, consulte Cotas da nuvem privada virtual.

Uma cota restringe quanto de um determinado recurso compartilhado do Google Cloud o projeto do Google Cloud pode usar, incluindo hardware, software e componentes de rede. Dessa forma, as cotas fazem parte de um sistema que:

  • monitora o uso ou o consumo de produtos e serviços do Google Cloud;
  • restringe o consumo desses recursos por motivos, que garantem imparcialidade e reduzem picos de uso;
  • mantém as configurações que aplicam automaticamente restrições prescritas;
  • fornece um meio de solicitar ou faz alterações na cota.

Na maioria dos casos, quando uma cota é excedida, o sistema bloqueia imediatamente o acesso ao recurso relevante do Google. Além disso, a tarefa que você está tentando executar falha. Na maioria dos casos, as cotas se aplicam a todos os projetos do Google Cloud. Além disso, elas são compartilhadas entre todos os aplicativos e endereços IP que usam esse projeto.

Para aumentar ou diminuir a maioria das cotas, use o console do Google Cloud. Para mais informações, consulte Solicitar uma cota maior.

Além disso, os recursos do Cloud Composer são limitados. Esses limites não estão relacionados ao sistema de cotas. Não é possível mudar os limites, a menos que seja indicado o contrário.

Cotas do Cloud Composer

As cotas nesta seção se aplicam apenas à API Cloud Composer e às ferramentas que a utilizam:

  • Interface do Cloud Composer no console do Google Cloud
  • Comandos gcloud composer e gcloud beta composer
  • API REST do Cloud Composer
  • API RPC do Cloud Composer
  • Terraform, para operações com ambientes do Cloud Composer

As cotas nesta seção não se aplicam a nenhum serviço que você usa nos DAGs do Airflow. Esses serviços usam cotas próprias.

O Cloud Composer tem as seguintes cotas de API:

Nome da cota Limite
Solicitações de leitura por projeto 1.000 unidades de cota por minuto
Solicitações de gravação por projeto 25.000 unidades de cota por dia
Solicitações de gravação por projeto 1.500 unidades de cota por minuto
Salvar solicitações de snapshot por projeto 5.000 unidades de cota por dia
Salvar solicitações de snapshot por projeto 250 unidades de cota por minuto
Salvar solicitações de snapshot por projeto e ambiente 2.600 unidades de cota por dia
Carregar solicitações de snapshots por projeto 2.500 unidades de cota por dia
Carregar solicitações de snapshots por projeto 150 cotas por minuto
Carregar solicitações de snapshots por projeto e ambiente 700 unidades de cota por dia

As chamadas da API Cloud Composer têm os seguintes custos em unidades de cota:

Operação Custo em unidades de cota Tipo de solicitação
Todas as operações 1 Ler
environments.create 100 Gravar
environments.patch 100 Gravar
environments.delete 100 Gravar
environments.databaseFailover 100 Gravar
environments.restartWebServer 100 Gravar
environments.checkUpgrade 100 Gravar
environments.executeAirflowCommand 25 Gravar
environments.stopAirflowCommand 25 Gravar
environments.saveSnapshot 50 Salvar snapshot
environments.loadSnapshot 50 Carregar snapshot

Exemplos de cálculo de cota

  • Uma solicitação environments.create consome 100 unidades de cota das cotas de gravação.

    Existem duas dessas cotas para solicitações de gravação:

    • Solicitações de gravação por projeto e por dia
    • Solicitações de gravação por projeto e por minuto

    Essa operação consome 100 unidades de cota de cada cota.

    Se você executar uma solicitação environments.restartWebServer posteriormente, outras 100 unidades de cota serão consumidas das mesmas cotas, porque environments.restartWebServer compartilha cotas com a solicitação environments.create.

  • Uma solicitação environments.saveSnapshot consome 50 unidades de cota de três cotas:

    • Salvar solicitações de snapshots por projeto e por dia
    • Salvar solicitações de snapshots por projeto e por minuto
    • Salvar solicitações de snapshots por projeto, ambiente e dia

    Essas três cotas limitam o número máximo de solicitações environments.saveSnapshot. Cada um faz isso de uma maneira diferente.

    O limite de cota para Salvar solicitações de snapshots por projeto por dia é de 2.500 unidades de cota. É possível executar até 50 solicitações environments.saveSnapshot no projeto todos os dias.

    O limite de cota para Salvar solicitações de snapshots por projeto por minuto é de 150 unidades de cota. Em um minuto, é possível executar até três solicitações environments.saveSnapshot no projeto.

    Por fim, o limite de cota Salvar solicitações de snapshots por projeto, ambiente e dia é de 750 unidades de cota. É possível executar até 15 solicitações environments.saveSnapshot por dia para um único ambiente. Se todas as unidades de cota forem consumidas para um ambiente específico, ainda será possível executar solicitações environments.saveSnapshot para outros ambientes no projeto.

Cotas para outros serviços

O Cloud Composer usa outros serviços do Google Cloud. Esses serviços têm cotas de nível de projeto, que se aplicam quando você usa o Cloud Composer.

Por exemplo, as cotas do Cloud Storage se aplicam a todos os buckets associados a ambientes no seu projeto. Como outro exemplo, os clusters do ambiente usam o Google Kubernetes Engine. Portanto, as cotas do GKE se aplicam a todos os clusters associados aos ambientes no seu projeto.

Cotas dos serviços usados pelo Cloud Composer

Os serviços a seguir são usados pelo Cloud Composer. Esses serviços têm limites próprios de cota:

Cotas para serviços opcionais

É possível usar os operadores do Airflow com serviços do Google Cloud. Qualquer serviço usado em um DAG está sujeito às cotas dele.