Acerca do dimensionamento do ambiente

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Esta página descreve como funciona o dimensionamento do ambiente no Cloud Composer 2.

Outras páginas sobre a escala:

Ambientes de escala automática

Os ambientes do Cloud Composer 2 são dimensionados automaticamente em resposta às exigências das suas tarefas e DAGs executados:

  • Se o seu ambiente tiver uma carga elevada, o Cloud Composer aumenta automaticamente o número de trabalhadores no seu ambiente.
  • Se o seu ambiente não usar alguns dos respetivos trabalhadores, estes são removidos para poupar recursos e custos do ambiente.
  • Pode definir o número mínimo e máximo de trabalhadores para o seu ambiente. O Cloud Composer dimensiona automaticamente o seu ambiente dentro dos limites definidos. Pode ajustar estes limites em qualquer altura.

O número de trabalhadores é ajustado com base na métrica Alvo do fator de escalabilidade. Esta métrica é calculada com base no seguinte:

  • Número atual de trabalhadores
  • Número de tarefas do Celery na fila do Celery que não estão atribuídas a um trabalhador
  • Número de trabalhadores inativos
  • celery.worker_concurrency Opção de configuração do fluxo de ar

A escala automática do Cloud Composer usa três redimensionadores automáticos diferentes fornecidos pelo GKE:

O Cloud Composer configura estes escaladores automáticos no cluster do ambiente. Isto dimensiona automaticamente o número de nós no cluster, o tipo de máquina e o número de trabalhadores.

Parâmetros de escala e desempenho

Além do dimensionamento automático, pode controlar os parâmetros de escala e desempenho do seu ambiente ajustando os limites de CPU, memória e disco para programadores, servidor Web e trabalhadores. Ao fazê-lo, pode dimensionar o seu ambiente verticalmente, além do dimensionamento horizontal fornecido pela funcionalidade de dimensionamento automático. Pode ajustar os parâmetros de escala e desempenho dos programadores, do servidor Web e dos trabalhadores do Airflow em qualquer altura.

O parâmetro de desempenho environment size do seu ambiente controla os parâmetros de desempenho da infraestrutura do Cloud Composer gerida que inclui a base de dados do Airflow. Pondere selecionar um tamanho do ambiente maior se quiser executar um grande número de DAGs e tarefas com um desempenho de infraestrutura mais elevado. Por exemplo, o aumento do tamanho do ambiente aumenta a quantidade de entradas do registo de tarefas do Airflow que o seu ambiente pode processar com um atraso mínimo.

Vários agendadores

O Airflow 2 pode usar mais do que um programador do Airflow em simultâneo. Esta funcionalidade do Airflow também é conhecida como programador de HA. No Cloud Composer 2, pode definir o número de programadores para o seu ambiente e ajustá-lo em qualquer altura. O Cloud Composer não dimensiona automaticamente o número de programadores no seu ambiente.

Para mais informações sobre a configuração do número de agendadores para o seu ambiente, consulte o artigo Dimensione os ambientes.

Espaço em disco da base de dados

O espaço em disco para a base de dados do Airflow aumenta automaticamente para satisfazer a procura.

O que se segue?