O Cloud Composer tem os seguintes limites de cota de API:
| Nome da cota | Limite |
|---|---|
| Solicitações de gravação por projeto | 1.500/minuto, 25.000/dia |
| Solicitações de leitura por projeto | 1.000/minuto |
A maioria das chamadas de API custa uma unidade, mas algumas são mais caras. As APIs a seguir custam 100 unidades: environments.create, environments.update e environments.delete.
As ferramentas a seguir são criadas com a API Cloud Composer e usam a cota dela:
O Cloud Composer usa outros produtos do Google Cloud. Eles têm cotas para envolvidos no projeto, o que inclui cotas relevantes ao uso do Cloud Composer. Alguns serviços são obrigatórios para o uso do Cloud Composer, como o Google Compute Engine e o Google Cloud Storage. Outros serviços são opcionais e podem ser usados com o Cloud Composer ao configurar conectores no Airflow.
Serviços obrigatórios
Os serviços a seguir, que impõem limites de cota, são automaticamente usados (de modo obrigatório) para criar ambientes do Cloud Composer.
- Deployment Manager
- Kubernetes Engine (que depende do Compute Engine)
- Cloud Storage
- Cloud Pub/Sub
- Cloud Logging
- Cloud Monitoring
- Cloud Build (se estiver usando dependências do PyPi)
- Google Container Registry
- Google Artifact Registry
Deployment Manager
O Deployment Manager gerencia outros recursos do Google Cloud necessários ao Cloud Composer. Cada chamada gcloud composer create, update ou delete se traduz em uma consulta de gravação e em várias consultas de leitura do Deployment Manager às quais se aplicam as cotas do Deployment Manager.
Kubernetes Engine
O programador e os workers do Airflow são executados em um cluster do Kubernetes Engine. Cada ambiente do Cloud Composer cria um cluster. Por padrão, um ambiente tem três VMs do Compute Engine, mas essa quantidade pode ser configurada durante ou após a criação. O cluster afeta a cota do Kubernetes Engine, e o número de nós afeta a cota do Compute Engine.
Cloud Pub/Sub
O Cloud Pub/Sub é usado para comunicação entre o Composer Service e a implantação do Airflow criada. Cada chamada gcloud composer environments create ou update cria dois tópicos e duas assinaturas do Cloud Pub/Sub. Aplica-se a cota do Cloud Pub/Sub.
Cloud Logging e Monitoring
O Cloud Logging é usado para registros do Cloud Composer e streaming de registros do Airflow. Aplica-se a cota do Logging.
Com o Cloud Monitoring, é possível coletar e visualizar suas métricas do Airflow em um painel personalizado. Aplica-se a cota do Monitoring.
Cloud Build
O Cloud Build permite que você crie imagens personalizadas do docker ao instalar pacotes PyPi. Aplicam-se as cotas do Cloud Build.
Serviços opcionais
Você pode usar operadores do Airflow com os serviços do Google Cloud. Qualquer serviço usado em um ambiente do Cloud Composer está sujeito à cota desse serviço.