Atualizar ambientes do Cloud Composer

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Nesta página, explicamos como um ambiente pode ser atualizado.

Sobre as operações de atualização

Quando você muda os parâmetros do ambiente, como especificar novos parâmetros de escalonamento e desempenho ou instalar pacotes PyPI personalizados, o ambiente é atualizado.

Depois que essa operação for concluída, as mudanças vão estar disponíveis no seu ambiente.

Para um único ambiente do Cloud Composer, só é possível iniciar uma operação de atualização por vez. Aguarde a conclusão de uma operação de atualização antes de iniciar outra operação de ambiente.

Importante: não faça upgrade dos clusters do GKE dos ambientes do Cloud Composer para versões mais recentes do GKE. Use a versão do GKE pré-configurada durante a criação do ambiente e conte com upgrades automáticos realizados pelo serviço do GKE.

Como as atualizações afetam as tarefas do Airflow em execução

Atenção: algumas operações de atualização encerram todas as tarefas em execução.

Quando você executa uma operação de atualização, os programadores e workers do Airflow no seu ambiente podem precisar ser reiniciados. Nesse caso, todas as tarefas em execução são encerradas. Depois que a operação de atualização for concluída, o Airflow vai programar essas tarefas para uma nova tentativa, dependendo da maneira como você configura as novas tentativas para seus DAGs.

Observação: os workers do Airflow podem ser reiniciados como parte da manutenção do ambiente durante as janelas de manutenção.

As seguintes mudanças causam o encerramento da tarefa do Airflow:

• Fazendo upgrade do ambiente para uma nova versão.
• Adicionar, mudar ou excluir pacotes personalizados do PyPI.
• Mudar variáveis de ambiente do Cloud Composer.
• Adicionar ou remover substituições de opções de configuração do Airflow ou mudar os valores delas.
• Alterar a CPU, a memória ou o armazenamento dos workers do Airflow.

• Reduzir o número máximo de workers do Airflow, se o novo valor for menor do que o número de workers em execução no momento. Por exemplo, se um ambiente estiver executando três workers e o máximo for reduzido para dois.

As seguintes mudanças não causam o encerramento da tarefa do Airflow:

• Criar, atualizar ou excluir um DAG (não uma operação de atualização).
• Pausar ou retomar DAGs (não é uma operação de atualização).
• Mudar variáveis do Airflow (não é uma operação de atualização).
• Alterar conexões do Airflow (não é uma operação de atualização).
• Ativar ou desativar a integração da linhagem de dados do Universal Catalog do Dataplex.
• Mudando o tamanho do ambiente.
• Mudar o número de programadores.
• Alterar a CPU, a memória ou o armazenamento dos programadores do Airflow.
• Mudar o número de acionadores.
• Alterar a CPU, a memória ou o armazenamento dos gatilhos do Airflow.
• Alterar a CPU, a memória ou o armazenamento do servidor da Web do Airflow.
• Aumentar ou diminuir o número mínimo de workers.
• Reduzir o número máximo de workers do Airflow. Por exemplo, se um ambiente estiver executando dois workers e o máximo for reduzido para três.
• Alterar janelas de manutenção.
• Alterar as configurações de snapshots programados.
• Como mudar os identificadores de ambiente.

Como atualizar com o Terraform

Aviso: se você tentar mudar um parâmetro de configuração que não pode ser atualizado, o Terraform excluirá seu ambiente e criará um novo com o novo valor de parâmetro.

Execute terraform plan antes de terraform apply para ver se o Terraform cria um novo ambiente em vez de atualizá-lo.

Antes de começar

• Verifique se sua conta, a conta de serviço do ambiente e a conta do agente de serviço do Cloud Composer no projeto têm as permissões necessárias:

  • Sua conta precisa ter um papel que possa acionar operações de atualização do ambiente.

  • A conta de serviço do seu ambiente precisa ter um papel que tenha permissões suficientes para realizar operações de atualização.

• O comando gcloud composer environments update termina quando a operação é concluída. Use a sinalização --async para evitar esperar a conclusão da operação.

Atualizar ambientes

Para mais informações sobre como atualizar seu ambiente, consulte outras páginas de documentação sobre operações de atualização específicas. Exemplo:

• Substituir as opções de configuração do Airflow
• Definir as variáveis de ambiente
• Instalar dependências do Python

• Escalonar ambientes

Ver detalhes do ambiente

Console

1. No console Google Cloud , acesse a página Ambientes.

   Acessar "Ambientes"

2. Na lista de ambientes, clique no nome do seu ambiente. A página Detalhes do ambiente é aberta.

gcloud

Execute o seguinte comando gcloud:

gcloud composer environments describe ENVIRONMENT_NAME \
  --location LOCATION

Substitua:

• ENVIRONMENT_NAME pelo nome do ambiente
• LOCATION pela região em que o ambiente está localizado;

API

Crie uma solicitação de API environments.get.

Exemplo:

GET https://composer.googleapis.com/v1/projects/example-project/
locations/us-central1/environments/example-environment

Terraform

Execute o comando terraform state show para o recurso do seu ambiente.

O nome do recurso do Terraform do seu ambiente pode ser diferente do nome do ambiente.

terraform state show google_composer_environment.RESOURCE_NAME

Substitua:

• RESOURCE_NAME com o nome do recurso do ambiente.

Revertendo mudanças na atualização

Em algumas situações raras, uma operação de atualização pode ser interrompida (por exemplo, devido a um tempo limite), e as mudanças solicitadas podem não ser revertidas em todos os componentes do ambiente, como o servidor da Web do Airflow.

Por exemplo, uma operação de atualização pode instalar ou remover módulos PyPI adicionais, redefinir ou definir uma nova variável de ambiente do Airflow ou do Cloud Composer ou mudar alguns parâmetros relacionados ao Airflow.

Essa situação pode ocorrer se uma operação de atualização for acionada quando outras operações estiverem em andamento, por exemplo, o escalonamento automático ou uma operação de manutenção do cluster do Cloud Composer.

Nesse caso, recomendamos repetir a operação.

Duração das operações de atualização ou upgrade

A duração das operações de atualização e upgrade é afetada pelos seguintes fatores:

• A maioria das operações de atualização ou upgrade exige a reinicialização de componentes do Airflow, como programadores, workers e servidores da Web. Depois que um componente é reiniciado, ele precisa ser inicializado. Durante a inicialização, os programadores e workers do Airflow baixam o conteúdo das pastas /dags e /plugins do bucket do ambiente. O processo de sincronização de arquivos com programadores e workers do Airflow não é instantâneo e depende do tamanho total e do número de todos os objetos nessas pastas.

  Recomendamos manter apenas os arquivos DAG e de plug-in nas pastas /dags e /plugins (respectivamente) e remover todos os outros arquivos. Muitos dados nas pastas /dags e /plugins podem diminuir a velocidade da inicialização dos componentes do Airflow e, em alguns casos, impossibilitar a inicialização.

  Recomendamos manter menos de 30 MB de dados nas pastas /dags e /plugins e não exceder 100 MB. Para mais informações, consulte também Como lidar com um grande número de DAGs e plug-ins.

• O tamanho do banco de dados do Airflow pode aumentar significativamente o tempo das operações de upgrade. Recomendamos manter o tamanho do banco de dados do Airflow mantendo o banco de dados do Airflow do seu ambiente.

Como fazer upgrade do tipo de máquina para nós do GKE

É possível fazer upgrade manual do tipo de máquina do cluster do GKE do ambiente excluindo o default-pool atual e criando um novo default-pool com o tipo de máquina desejado.

Recomendamos especificar um tipo de máquina adequado para o tipo de computação que ocorre no ambiente do Cloud Composer ao criar um ambiente.

Se você estiver executando jobs que realizam computação com uso intensivo de recursos, use os operadores do GKE.

Atenção: a execução dos seus DAGs pode ser interrompida durante o upgrade. Antes de fazer upgrade, pause todos os DAGs e aguarde a conclusão das tarefas em andamento.

Depois de um upgrade, o tipo de máquina anterior ainda aparece nos detalhes do ambiente. Por exemplo, a página de detalhes do ambiente não reflete o novo tipo de máquina.

Console

Para fazer upgrade do tipo de máquina, siga estas etapas:

1. No console Google Cloud , acesse a página Ambientes.

   Acessar "Ambientes"

2. Na lista de ambientes, clique no nome do seu ambiente. A página Detalhes do ambiente é aberta.

3. Receba informações sobre o pool de nós padrão:

   1. Acesse a guia Configuração do ambiente.

   2. Clique no link ver detalhes do cluster.

   3. Na página "Clusters", na seção Nós, clique em default-pool.

   4. Anote todas as informações de default-pool na página de detalhes do pool de nós. Você usará essas informações para criar um novo pool de nós padrão para seu ambiente.

4. Para excluir o default-pool:

   1. Na página Detalhes do pool de nós, clique na seta para voltar à página Clusters do seu ambiente.

   2. Na seção Pools de nós, clique no ícone de lixeira do default-pool. Em seguida, clique em Excluir para confirmar a operação.

5. Para criar o novo default-pool:

   Cuidado: use a mesma conta de serviço que executa o ambiente do Cloud Composer. Se você usar uma conta de serviço personalizada e depender de escopos de acesso, use CLI gcloud para criar um novo pool com os escopos adequados. Para fazer isso, siga as instruções na página Adicionar e gerenciar pools de nós. Especifique os escopos de acesso usando o parâmetro --scopes.

   1. Na página Clusters, clique em Adicionar pool de nós.

   2. Em "Nome", insira default-pool. Use o nome default-pool para que os fluxos de trabalho no seu ambiente possam ser executados nesse pool.

   3. Insira as configurações de tamanho e nós.

   4. Apenas para contas de serviço padrão do Compute Engine. Para escopos de acesso, selecione Permitir acesso total a todas as APIs do Cloud.

   5. Clique em Salvar.

6. Se você notar que as cargas de trabalho são distribuídas de maneira desigual, reduza a implantação do worker do Airflow para zero e escalonar verticalmente novamente.

A seguir

• Fazer upgrade dos ambientes
• Substituir as opções de configuração do Airflow