Cotas de recursos do Cloud Composer

O Cloud Composer tem os seguintes limites de cota de API:

Métrica de cota Limite
Chamadas de API, por projeto 1.000 solicitações/min
Chamadas de API por usuário, por projeto 300 solicitações/min

As ferramentas a seguir são criadas com a API Cloud Composer e usam a cota dela:

O Cloud Composer usa outros produtos do Google Cloud Platform. Eles têm cotas para envolvidos no projeto, o que inclui cotas relevantes ao uso do Cloud Composer. Alguns serviços são obrigatórios para o uso do Cloud Composer, como o Google Compute Engine e o Google Cloud Storage. Outros serviços são opcionais e podem ser usados com o Cloud Composer ao configurar conectores no Airflow.

Serviços obrigatórios

Os serviços a seguir, que impõem limites de cota, são automaticamente usados (de modo obrigatório) para criar ambientes do Cloud Composer.

  • Deployment Manager
  • Kubernetes Engine (que depende do Compute Engine)
  • Cloud Storage
  • Cloud Pub/Sub
  • Stackdriver Logging
  • Cloud Build (se estiver usando dependências do PyPi)

Deployment Manager

O Deployment Manager gerencia outros recursos do Google Cloud Platform necessários ao Cloud Composer. Cada chamada gcloud composer create, update ou delete se traduz em uma consulta de gravação e em várias consultas de leitura do Deployment Manager, a que as cotas do Deployment Manager se aplicam.

Kubernetes Engine

O programador e os workers do Airflow são executados em um cluster do Kubernetes Engine. Cada ambiente do Cloud Composer cria um cluster. Por padrão, um ambiente tem três VMs do Compute Engine, mas essa quantidade pode ser configurada durante ou após a criação. O cluster afeta a cota do Kubernetes Engine, e o número de nós afeta a cota do Compute Engine.

Cloud Pub/Sub

O Cloud Pub/Sub é usado para comunicação entre o Composer Service e a implantação do Airflow criada. Cada chamada gcloud composer environments create ou update cria dois tópicos e duas assinaturas do Cloud Pub/Sub. A cota do Cloud Pub/Sub se aplica.

Stackdriver

O Stackdriver Logging é usado para registros do Cloud Composer e streaming de registros do Airflow. A cota do Logging se aplica.

Com o Stackdriver Monitoring, é possível coletar e visualizar suas métricas do Airflow em um painel personalizado. A cota do Monitoring se aplica.

Cloud Build

O Cloud Build permite que você crie imagens personalizadas do docker ao instalar pacotes PyPi. As cotas do Cloud Build se aplicam.

Serviços opcionais

Você pode usar os operadores do Airflow com serviços do Google Cloud Platform. Qualquer serviço usado em um ambiente do Cloud Composer está sujeito à cota desse serviço.

Esta página foi útil? Conte sua opinião sobre:

Enviar comentários sobre…