Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Nesta página, descrevemos como o escalonamento de ambiente funciona no Cloud Composer 2.
Outras páginas sobre escalonamento:
- Para um guia sobre como selecionar os parâmetros de escala e desempenho ideais para seu ambiente, consulte Otimizar o desempenho e os custos do ambiente.
- Para mais informações sobre o escalonamento de ambientes, consulte Ambientes de escala.
Ambientes de escalonamento automático
Os ambientes do Cloud Composer 2 são escalonados automaticamente em resposta às demandas dos DAGs e tarefas executados:
- Se o ambiente apresentar uma carga pesada, o Cloud Composer aumentará automaticamente o número de workers no ambiente.
- Se o ambiente não usar alguns workers, eles serão removidos para economizar recursos e custos do ambiente.
- É possível definir o número mínimo e máximo de workers no ambiente. O Cloud Composer faz o escalonamento automático do seu ambiente dentro dos limites definidos. É possível ajustar esses limites a qualquer momento.
O número de workers é ajustado com base na métrica de Meta de fator de escalonamento. Essa métrica é calculada com base no seguinte:
- Número atual de workers
- Número de tarefas do Celery na fila do Celery que não foram atribuídas a um worker
- Número de workers inativos
- Opção de configuração do Airflow
celery.worker_concurrency
O escalonamento automático do Cloud Composer usa três escalonadores automáticos diferentes fornecidos pelo GKE:
- Escalonador automático de pod horizontal (HPA)
- Escalonador automático de cluster (CA)
- Provisionamento automático de nós (NAP)
O Cloud Composer configura esses escalonadores automáticos no cluster do ambiente. Isso faz o escalonamento automático do número de nós no cluster, do tipo de máquina e do número de workers.
Parâmetros de escalonamento e desempenho
Além do escalonamento automático, é possível controlar os parâmetros de escalonamento e desempenho do ambiente ajustando os limites de CPU, memória e disco para programadores, servidores da Web e workers. Ao fazer isso, é possível escalonar o ambiente verticalmente, além do escalonamento horizontal fornecido pelo recurso de escalonamento automático. É possível ajustar os parâmetros de escalonamento e desempenho dos programadores, do servidor da Web e dos workers do Airflow a qualquer momento.
O parâmetro de desempenho tamanho do ambiente controla os parâmetros de desempenho da infraestrutura gerenciada do Cloud Composer que inclui o banco de dados do Airflow. Considere selecionar um ambiente maior tamanho, se quiser executar muitos DAGs e tarefas com maior o desempenho da infraestrutura. Por exemplo, o tamanho de um ambiente maior aumenta a quantidade de entradas de registro de tarefas do Airflow que o ambiente pode processar com atraso mínimo.
Vários programadores
O Airflow 2 pode usar mais de um programador do Airflow ao mesmo tempo. Esse recurso do Airflow também é conhecido como programador de alta disponibilidade. No Cloud Composer 2, é possível definir o número de programadores do seu ambiente e ajustá-lo a qualquer momento. O Cloud Composer não escalona automaticamente o número de programadores no seu ambiente.
Para mais informações sobre como configurar o número de programadores do seu ambiente, consulte Ambientes de escala.
Espaço em disco do banco de dados
O espaço em disco para o banco de dados do Airflow aumenta automaticamente para acomodar a demanda.
A seguir