Nesta página, descrevemos as cotas do Cloud Composer e outros serviços usados pelo Cloud Composer.
Cotas do Cloud Composer
As cotas nesta seção se aplicam somente à API Cloud Composer e às ferramentas que utilizam a API Cloud Composer:
- Interface do Cloud Composer no Console do Google Cloud
- Comandos
gcloud composer
egcloud beta composer
- API REST do Cloud Composer
- API RPC do Cloud Composer
- Terraform, para operações com ambientes do Cloud Composer
As cotas nesta seção não se aplicam a nenhum serviço usado nos DAGs do Airflow. Esses serviços usam as próprias cotas.
O Cloud Composer tem as seguintes cotas de APIs:
Nome da cota | Limite |
---|---|
Solicitações de leitura por projeto | 1.000 unidades/minuto |
Solicitações de gravação por projeto | 25.000 unidades/dia |
Solicitações de gravação por projeto | 1.500 unidades/minuto |
Salvar solicitações de snapshot por projeto | 2.500 unidades/dia |
Salvar solicitações de snapshot por projeto | 150 unidades/minuto |
Salvar solicitações de snapshot por projeto por ambiente | 750 unidades/dia |
Carregar solicitações de snapshots por projeto | 2.500 unidades/dia |
Carregar solicitações de snapshots por projeto | 150 unidades/minuto |
Carregar solicitações de snapshots por projeto por ambiente | 500 unidades/dia |
As chamadas da API Cloud Composer têm os seguintes custos, em unidades:
Operação | Custo em unidades | Tipo de solicitação |
---|---|---|
Todas as operações | 1 | Leitura |
ambientes.create | 100 | Gravação |
ambientes.patch | 100 | Gravação |
environments.delete | 100 | Gravação |
ambientes.restartWebServer | 100 | Gravação |
Environmentscheckcheck | 100 | Gravação |
ambientes.saveSnapshot | 50 | Salvar snapshot |
EnvironmentsloadSnapshot | 50 | Carregar snapshot |
Cotas para outros serviços
O Cloud Composer usa outros serviços do Google Cloud. Esses serviços têm cotas no nível do projeto, que se aplicam quando você usa o Cloud Composer.
Por exemplo, as cotas do Cloud Storage se aplicam a todos os buckets associados a ambientes no seu projeto. Como outro exemplo, os clusters do ambiente usam o Google Kubernetes Engine, portanto, as cotas do GKE se aplicam a todos os clusters associados aos ambientes no projeto.
Cotas para serviços usados pelo Cloud Composer
Os serviços a seguir são usados pelo Cloud Composer. Esses serviços têm os próprios limites de cota:
- Cotas do Cloud Deployment Manager
- Cotas do Google Kubernetes Engine
- Cotas do Compute Engine
- Cotas do Cloud Storage
- Cotas do Pub/Sub
- Cotas do Cloud Logging
- Cotas do Cloud Monitoring
- Cotas do Cloud Build (aplicadas a ambientes que usam pacotes PyPI personalizados)
- Cotas do Artifact Registry
- Cotas do Identity and Access Management
- Cotas da nuvem privada virtual (não se aplica a ambientes que usam o Private Service Connect)
Cotas para serviços opcionais
É possível usar operadores do Airflow com serviços do Google Cloud. Todos os serviços que você usa em um DAG estão sujeitos às cotas desse serviço.