Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1
Esta página descreve como funciona o dimensionamento do ambiente no Cloud Composer 2.
Outras páginas sobre a escala:
- Para ver um guia sobre como selecionar parâmetros de escala e desempenho ideais para o seu ambiente, consulte o artigo Otimize o desempenho e os custos do ambiente.
- Para obter informações sobre como dimensionar os seus ambientes, consulte o artigo Dimensione os ambientes.
Ambientes de escala automática
Os ambientes do Cloud Composer 2 são dimensionados automaticamente em resposta às exigências das suas tarefas e DAGs executados:
- Se o seu ambiente tiver uma carga elevada, o Cloud Composer aumenta automaticamente o número de trabalhadores no seu ambiente.
- Se o seu ambiente não usar alguns dos respetivos trabalhadores, estes são removidos para poupar recursos e custos do ambiente.
- Pode definir o número mínimo e máximo de trabalhadores para o seu ambiente. O Cloud Composer dimensiona automaticamente o seu ambiente dentro dos limites definidos. Pode ajustar estes limites em qualquer altura.
O número de trabalhadores é ajustado com base na métrica Alvo do fator de escalabilidade. Esta métrica é calculada com base no seguinte:
- Número atual de trabalhadores
- Número de tarefas do Celery na fila do Celery que não estão atribuídas a um trabalhador
- Número de trabalhadores inativos
celery.worker_concurrencyOpção de configuração do fluxo de ar
A escala automática do Cloud Composer usa três redimensionadores automáticos diferentes fornecidos pelo GKE:
- Redimensionador automático horizontal de pods (HPA)
- Cluster Autoscaler (CA)
- Aprovisionamento automático de nós (NAP)
O Cloud Composer configura estes escaladores automáticos no cluster do ambiente. Isto dimensiona automaticamente o número de nós no cluster, o tipo de máquina e o número de trabalhadores.
Parâmetros de escala e desempenho
Além do dimensionamento automático, pode controlar os parâmetros de escala e desempenho do seu ambiente ajustando os limites de CPU, memória e disco para programadores, servidor Web e trabalhadores. Ao fazê-lo, pode dimensionar o seu ambiente verticalmente, além do dimensionamento horizontal fornecido pela funcionalidade de dimensionamento automático. Pode ajustar os parâmetros de escala e desempenho dos programadores, do servidor Web e dos trabalhadores do Airflow em qualquer altura.
O parâmetro de desempenho environment size do seu ambiente controla os parâmetros de desempenho da infraestrutura do Cloud Composer gerida que inclui a base de dados do Airflow. Pondere selecionar um tamanho do ambiente maior se quiser executar um grande número de DAGs e tarefas com um desempenho de infraestrutura mais elevado. Por exemplo, o aumento do tamanho do ambiente aumenta a quantidade de entradas do registo de tarefas do Airflow que o seu ambiente pode processar com um atraso mínimo.
Vários agendadores
O Airflow 2 pode usar mais do que um programador do Airflow em simultâneo. Esta funcionalidade do Airflow também é conhecida como programador de HA. No Cloud Composer 2, pode definir o número de programadores para o seu ambiente e ajustá-lo em qualquer altura. O Cloud Composer não dimensiona automaticamente o número de programadores no seu ambiente.
Para mais informações sobre a configuração do número de agendadores para o seu ambiente, consulte o artigo Dimensione os ambientes.
Espaço em disco da base de dados
O espaço em disco para a base de dados do Airflow aumenta automaticamente para satisfazer a procura.