Escalonamento de ambientes

Cloud Composer 1 | Cloud Composer 2

Nesta página, descrevemos como o escalonamento de ambiente funciona no Cloud Composer 2.

Outras páginas sobre escalonamento:

Ambientes de escalonamento automático

Os ambientes do Cloud Composer 2 são escalonados automaticamente em resposta às demandas dos DAGs e tarefas executados:

  • Se o ambiente apresentar uma carga pesada, o Cloud Composer aumentará automaticamente o número de workers no ambiente.
  • Se o ambiente não usar alguns workers, eles serão removidos para economizar recursos e custos do ambiente.
  • É possível definir o número mínimo e máximo de workers no ambiente. O Cloud Composer faz o escalonamento automático do seu ambiente dentro dos limites definidos. É possível ajustar esses limites a qualquer momento.

O número de workers é ajustado com base na métrica de Meta de fator de escalonamento. Essa métrica é calculada com base no seguinte:

  • Número atual de workers
  • Número de tarefas do Celery na fila do Celery que não foram atribuídas a um worker
  • Número de workers inativos
  • Opção de configuração do Airflow celery.worker_concurrency

O escalonamento automático do Cloud Composer usa três escalonadores automáticos diferentes fornecidos pelo GKE:

O Cloud Composer configura esses escalonadores automáticos no cluster do ambiente. Isso faz o escalonamento automático do número de nós no cluster, do tipo de máquina e do número de workers.

Parâmetros de escalonamento e desempenho

Além do escalonamento automático, é possível controlar os parâmetros de escalonamento e desempenho do ambiente ajustando os limites de CPU, memória e disco para programadores, servidores da Web e workers. Ao fazer isso, é possível escalonar o ambiente verticalmente, além do escalonamento horizontal fornecido pelo recurso de escalonamento automático. É possível ajustar os parâmetros de escalonamento e desempenho dos programadores, do servidor da Web e dos workers do Airflow a qualquer momento.

O parâmetro de desempenho tamanho do ambiente controla os parâmetros de desempenho da infraestrutura gerenciada do Cloud Composer que inclui o banco de dados do Airflow. Selecione um tamanho maior de ambiente se você quiser executar um grande número de DAGs e tarefas.



Vários programadores

O Airflow 2 pode usar mais de um programador do Airflow ao mesmo tempo. Esse recurso do Airflow também é conhecido como programador de alta disponibilidade. No Cloud Composer 2, é possível definir o número de programadores do seu ambiente e ajustá-lo a qualquer momento. O Cloud Composer não escalona automaticamente o número de programadores no seu ambiente.

Para mais informações sobre como configurar o número de programadores do seu ambiente, consulte Ambientes de escala.

Espaço em disco do banco de dados

O espaço em disco para o banco de dados do Airflow aumenta automaticamente para acomodar a demanda.

A seguir