O Cloud Composer tem os seguintes limites de cota de API:
| Nome da cota | Limite |
|---|---|
| Solicitações de gravação por projeto | 1.500/minuto, 25.000/dia |
| Solicitações de leitura por projeto | 1.000/minuto |
A maioria das chamadas de API custa uma unidade, mas algumas são mais caras. As APIs a seguir custam 100 unidades: environments.create, environments.update e environments.delete.
As ferramentas a seguir são criadas com a API Cloud Composer e usam a cota dela:
O Cloud Composer usa outros produtos do Google Cloud. Eles têm cotas para envolvidos no projeto, o que inclui cotas relevantes ao uso do Cloud Composer. Alguns serviços são obrigatórios para o uso do Cloud Composer, como o Google Compute Engine e o Google Cloud Storage. Outros serviços são opcionais e podem ser usados com o Cloud Composer ao configurar conectores no Airflow.
Serviços obrigatórios
Os serviços a seguir, que impõem limites de cota, são automaticamente usados (de modo obrigatório) para criar ambientes do Cloud Composer.
- Deployment Manager
- Kubernetes Engine (que depende do Compute Engine)
- Cloud Storage
- Cloud Pub/Sub
- Cloud Logging
- Cloud Monitoring
- Cloud Build (se estiver usando dependências do PyPi)
- Google Container Registry
- Google Artifact Registry
- Identity and Access Management
- Nuvem privada virtual
Deployment Manager
O Deployment Manager gerencia outros recursos do Google Cloud necessários ao Cloud Composer. Cada chamada gcloud composer create, update ou delete se traduz em uma consulta de gravação e em várias consultas de leitura do Deployment Manager às quais se aplicam as cotas do Deployment Manager.
Kubernetes Engine
Cada ambiente do Cloud Composer cria um cluster do GKE usado para executar as cargas de trabalho do sistema (por exemplo, programador) e do sistema do Composer (por exemplo, agente do Composer).
Os serviços do Kubernetes usam máquinas virtuais do Compute Engine para nós do GKE. O cluster afeta a cota do Kubernetes Engine, enquanto o número de nós afeta a cota do Compute Engine.
Cloud Pub/Sub
O Cloud Pub/Sub é usado para comunicação entre o Composer Service e a implantação do Airflow criada. Cada chamada gcloud composer environments create ou update cria dois tópicos e duas assinaturas do Cloud Pub/Sub. Aplica-se a cota do Cloud Pub/Sub.
Cloud Logging e Monitoring
O Cloud Logging é usado para registros do Cloud Composer e streaming de registros do Airflow. Aplica-se a cota do Logging.
Com o Cloud Monitoring, é possível coletar e visualizar suas métricas do Airflow em um painel personalizado. Aplica-se a cota do Monitoring.
Cloud Build
O Cloud Build permite que você crie imagens personalizadas do docker ao instalar pacotes PyPi. Aplicam-se as cotas do Cloud Build.
Identity and Access Management
O gerenciamento de identidade e acesso é usado para verificar as permissões dos usuários e contas de serviço do Cloud Composer. Por exemplo, somente usuários registrados no IAM do seu projeto e que têm as permissões adequadas podem acessar a IU do Airflow. Aplicam-se as cotas do IAM.
Leia mais sobre controles de acesso e permissão em Controle de acesso.
Nuvem privada virtual
O Cloud Composer depende do serviço de rede VPC do Google. É por isso que as cotas da VPC se aplicam (por exemplo, cota para peerings de VPC com rede VPC).
Serviços opcionais
Você pode usar operadores do Airflow com os serviços do Google Cloud. Qualquer serviço usado em um ambiente do Cloud Composer está sujeito à cota desse serviço.