Atualizar ambientes

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Nesta página, explicamos como um ambiente pode ser atualizado.

Sobre as operações de atualização

Quando você altera os parâmetros do ambiente, como especificar um novo escalonamento e parâmetros de desempenho ou instalar pacotes PyPI personalizados, atualizações do ambiente de execução.

Depois que essa operação for concluída, as mudanças vão ficar disponíveis no seu ambiente.

Em um único ambiente do Cloud Composer, é possível iniciar apenas um de uma operação de atualização por vez. Você precisa aguardar a conclusão de uma operação de atualização antes de iniciar outra operação do ambiente.

Limites de CPU do acionador

O Cloud Composer na versão 2.4.4 apresenta uma abordagem de escalonamento de desempenho diferente para o componente Airflow triggerer, que se aplica a todas as versões do Cloud Composer 2.

Antes da versão 2.4.4, os ambientes do Cloud Composer podiam usar no máximo um ou dois acionadores. Após a alteração, é possível ter até 10 acionadores por ambiente. mas cada engatilhador é limitado a uma vCPU.

As operações de atualização do ambiente falham se ele estiver configurado com mais de uma vCPU por acionador. É necessário ajustar a configuração para atender ao limite de uma vCPU para realizar atualizações em outros componentes.

Veja mais informações em:

Como as atualizações afetam a execução de tarefas do Airflow

Quando você executa uma operação de atualização, os programadores e os workers do Airflow no seu ambiente podem precisar de uma reinicialização. Nesse caso, todas as tarefas em execução são encerradas. Depois que a operação de atualização é concluída, o Airflow programa essas tarefas para uma nova tentativa, dependendo da forma como você configura as novas tentativas para seus DAGs.

As mudanças a seguir causam o encerramento da tarefa do Airflow:

  • Fazendo upgrade do ambiente para uma nova versão.
  • Adicionar, alterar ou excluir pacotes PyPI personalizados.
  • Como alterar as variáveis de ambiente do Cloud Composer.
  • Adicionar ou remover substituições de opções de configuração do Airflow ou alterar os valores delas.
  • Alterar a CPU, a memória ou o armazenamento dos workers do Airflow.
  • reduzir o número máximo de workers do Airflow, se o novo valor for menor que o número de workers em execução no momento. Por exemplo, se um ambiente estiver executando três workers e o máximo for reduzido para dois.
  • Alterar o modo de resiliência do ambiente.

As mudanças a seguir não causam o encerramento da tarefa do Airflow:

  • Criação, atualização ou exclusão de um DAG (não uma operação de atualização).
  • Pausar ou retomar DAGs (não é uma operação de atualização).
  • Alterar variáveis do Airflow (não uma operação de atualização).
  • Alterar conexões do Airflow (não uma operação de atualização).
  • Ativar ou desativar a integração da linhagem de dados do Dataplex.
  • Mudar o tamanho do ambiente.
  • Alterar o número de programadores.
  • Como mudar programadores do Airflow CPU, memória ou armazenamento.
  • Mudar o número de acionadores.
  • Como mudar os acionadores do Airflow CPU, memória ou armazenamento.
  • Alterar a CPU, a memória ou o armazenamento do servidor da Web do Airflow.
  • Aumentar ou diminuir o número mínimo de workers.
  • Reduza o número máximo de workers do Airflow. Por exemplo, se um ambiente estiver executando dois workers e o máximo for reduzido para três.
  • Alteração das janelas de manutenção.
  • Alterar as configurações de snapshots programados.
  • Como alterar rótulos de ambiente.

Como atualizar com o Terraform

Execute terraform plan antes de terraform apply para ver se o Terraform cria um novo em vez de atualizá-lo.

Antes de começar

Atualizar ambientes

Para mais informações sobre como atualizar seu ambiente, consulte outras documentações sobre operações de atualização específicas. Exemplo:

Ver detalhes do ambiente

Console

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Na lista de ambientes, clique no nome do seu ambiente. A página Detalhes do ambiente é aberta.

gcloud

Execute o seguinte comando gcloud:

gcloud composer environments describe ENVIRONMENT_NAME \
  --location LOCATION

Substitua:

  • ENVIRONMENT_NAME pelo nome do ambiente
  • LOCATION pela região em que o ambiente está localizado;

API

Crie uma solicitação de API environments.get.

Exemplo:

GET https://composer.googleapis.com/v1/projects/example-project/
locations/us-central1/environments/example-environment

Terraform

Execute o comando terraform state show para o recurso do seu ambiente.

O nome do recurso do Terraform do seu ambiente pode ser diferente do nome do ambiente.

terraform state show google_composer_environment.RESOURCE_NAME

Substitua:

  • RESOURCE_NAME pelo nome do recurso do ambiente.

Como reverter mudanças de atualização

Em algumas situações raras, uma operação de atualização pode ser interrompida (por exemplo, devido a um tempo limite) e as mudanças solicitadas podem não ser retornadas em todos os componentes do ambiente (como o servidor da Web do Airflow).

Por exemplo, uma operação de atualização pode instalar ou remover outros módulos PyPI, redefinir ou definir uma nova variável de ambiente do Airflow ou do Cloud Composer ou alterar alguns parâmetros relacionados ao Airflow.

Essa situação pode ocorrer se uma operação de atualização for acionada quando outras estiver em andamento, por exemplo, o escalonamento automático do cluster do Cloud Composer ou uma operação de manutenção.

Nesse caso, é recomendável repetir a operação.

Duração das operações de atualização ou upgrade

A maioria das operações de atualização ou upgrade exige a reinicialização dos componentes do Airflow como programadores, workers e servidores da Web do Airflow.

Quando um componente é reiniciado, ele precisa ser inicializado. Durante a inicialização, os programadores e workers do Airflow fazem o download do conteúdo das pastas /dags e /plugins do bucket do ambiente. O processo de sincronização de arquivos com programadores e workers do Airflow não é instantâneo e depende do tamanho e do número total de todos os objetos nessas pastas.

Recomendamos manter apenas arquivos de DAG e de plug-in em /dags e /plugins pastas (respectivamente) e remover todos os outros arquivos. Muitos dados nas pastas /dags e /plugins podem desacelerar a inicialização dos componentes do Airflow e, em alguns casos, impedir a inicialização.

Recomendamos manter menos de 30 MB de dados nas pastas /dags e /plugins e não exceder 100 MB de dados.

Para mais informações, consulte também:

A seguir