Atualizar ambientes

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Nesta página, explicamos como um ambiente pode ser atualizado.

Sobre as operações de atualização

Quando você altera os parâmetros do ambiente, como especificar um novo escalonamento e parâmetros de desempenho ou instalar pacotes PyPI personalizados, atualizações do ambiente de execução.

Após a conclusão da operação, as alterações ficam disponíveis no seu de nuvem.

Em um único ambiente do Cloud Composer, é possível iniciar apenas uma de uma operação de atualização por vez. Você precisa aguardar a conclusão de uma operação de atualização antes de iniciar outra operação do ambiente.

Limites de CPU do engatilhador

O Cloud Composer versão 2.4.4 apresenta uma implementação abordagem de escalonamento para o acionador do Airflow que se aplica a todas as versões 2 do Cloud Composer.

Antes da versão 2.4.4, os ambientes do Cloud Composer podiam use no máximo um ou dois acionadores. Após a alteração, é possível ter até 10 acionadores por ambiente. mas cada engatilhador é limitado a uma vCPU.

As operações de atualização do ambiente vão falhar se o ambiente for configurado com mais de 1 vCPU por engatilhador. É preciso ajustar a configuração para atender ao limite de uma vCPU e executar atualizações em outros componentes.

Veja mais informações em:

Como as atualizações afetam a execução de tarefas do Airflow

Quando você executa uma operação de atualização, como instalar pacotes PyPI personalizados, todos os programadores e workers do Airflow no seu ambiente reiniciar e todas as tarefas em execução no momento serão encerradas. Após a atualização operação for concluída, o Airflow programa essas tarefas para uma nova tentativa, dependendo a maneira como você configura novas tentativas para os DAGs.

Como atualizar com o Terraform

Execute terraform plan antes de terraform apply para ver se o Terraform cria um novo em vez de atualizá-lo.

Antes de começar

Atualizar ambientes

Para mais informações sobre como atualizar seu ambiente, consulte outras documentações sobre operações de atualização específicas. Exemplo:

Ver detalhes do ambiente

Console

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Na lista de ambientes, clique no nome do ambiente. A página Detalhes do ambiente é aberta.

gcloud

Execute o seguinte comando gcloud:

gcloud composer environments describe ENVIRONMENT_NAME \
  --location LOCATION

Substitua:

  • ENVIRONMENT_NAME pelo nome do ambiente
  • LOCATION pela região em que o ambiente está localizado;

API

Crie uma solicitação de API environments.get.

Exemplo:

GET https://composer.googleapis.com/v1/projects/example-project/
locations/us-central1/environments/example-environment

Terraform

Execute o comando terraform state show para o recurso do seu ambiente.

O nome do recurso do Terraform do seu ambiente pode ser diferente do com o nome do ambiente.

terraform state show google_composer_environment.RESOURCE_NAME

Substitua:

  • RESOURCE_NAME pelo nome do recurso do ambiente.

Reverter as mudanças de atualização

Em algumas situações raras, uma operação de atualização pode ser interrompida (por exemplo, devido a um tempo limite), e as alterações solicitadas podem não ser revertido em todos os componentes do ambiente (como o servidor da Web do Airflow).

Por exemplo, uma operação de atualização pode ser a instalação Módulos PyPI, redefinição ou definição de um novo Airflow ou Cloud Composer variável de ambiente ou alterar alguns parâmetros relacionados ao Airflow.

Essa situação pode ocorrer se uma operação de atualização for acionada quando outros operações estão em andamento, por exemplo, as operações escalonamento automático ou uma operação de manutenção.

Nessa situação, é recomendável repetir a operação.

Duração das operações de atualização ou upgrade

A maioria das operações de atualização ou upgrade exige a reinicialização dos componentes do Airflow como programadores, workers e servidores da Web do Airflow.

Quando um componente é reiniciado, ele precisa ser inicializado. Durante o inicialização, os programadores e os workers do Airflow fazem o download do conteúdo de /dags e /plugins pastas do bucket do ambiente. O processo de sincronização de arquivos para programadores e workers do Airflow não é instantâneo e depende o tamanho total e o número de todos os objetos nessas pastas.

Recomendamos manter apenas arquivos de DAG e de plug-in em /dags e /plugins pastas (respectivamente) e remover todos os outros arquivos. Dados em excesso nas pastas /dags e /plugins pode atrasar a inicialização do Airflow e, em alguns casos, pode impossibilitar a inicialização.

Recomendamos manter menos de 30 MB de dados nas pastas /dags e /plugins e definitivamente não exceder 100 MB de tamanho de dados.

Para mais informações, consulte também:

A seguir