Migrar ambientes para o Cloud Composer 2 (do Airflow 2) usando snapshots

Cloud Composer 1 | Cloud Composer 2

Nesta página, explicamos como transferir DAGs, dados e configuração dos ambientes atuais do Cloud Composer 1, Airflow 2 para o Cloud Composer 2, Airflow 2.

Este guia de migração usa o recurso Snapshots.

Outros guias de migração

De	A	Método	Guia
Cloud Composer 1, Airflow 2	Cloud Composer 2 e Airflow 2	Lado a lado, usando snapshots	Este guia (snapshots)
Cloud Composer 1, Airflow 1	Cloud Composer 2 e Airflow 2	Lado a lado, usando snapshots	Guia de migração (snapshots)
Cloud Composer 1, Airflow 2	Cloud Composer 2 e Airflow 2	Transferência manual lado a lado	Guia de migração manual
Cloud Composer 1, Airflow 1	Cloud Composer 2 e Airflow 2	Transferência manual lado a lado	Guia de migração manual
Airflow 1	Airflow 2	Transferência manual lado a lado	Guia de migração manual

Antes de começar

• Os snapshots são compatíveis com o Cloud Composer 2 versão 2.0.9 e posterior. O Cloud Composer 1 é compatível com o salvamento de snapshots do ambiente na versão 1.18.5.

• O Cloud Composer é compatível com a migração lado a lado do Cloud Composer 1 para o Cloud Composer 2. Não é possível fazer upgrade do Cloud Composer 1 para o Cloud Composer 2 no local.

• Confira a lista de diferenças entre o Cloud Composer 1 e o Cloud Composer 2.

• O tamanho máximo do banco de dados do Airflow que aceita snapshots é de 20 GB. Se o banco de dados do ambiente demorar mais de 20 GB, reduza o tamanho do banco de dados Airflow.

Etapa 1: pausar DAGs no ambiente do Cloud Composer 1

Aviso :se um DAG estiver ativado (não pausado) nos dois ambientes, cada ambiente vai executar a própria cópia do DAG, conforme programado. Isso pode resultar em execuções duplicadas de DAGs para os mesmos dados e tempo de execução.

Para evitar execuções duplicadas de DAGs, pause todos os DAGs no ambiente do Cloud Composer 1 antes de salvar o snapshot.

Você pode usar qualquer uma das seguintes opções:

• Na interface da Web do Airflow, acesse DAGs e pause todos os DAGs manualmente.

• Use o script composer_dags para pausar todos os DAGs:

  python3 composer_dags.py --environment COMPOSER_1_ENV \
    --project PROJECT_ID \
    --location COMPOSER_1_LOCATION \
    --operation pause
  

  Substitua:

  • COMPOSER_1_ENV pelo nome do ambiente do Cloud Composer 1.
  • PROJECT_ID pelo ID do projeto;
  • COMPOSER_1_LOCATION pela região em que o ambiente está localizado;

Etapa 2: salvar o snapshot do ambiente do Cloud Composer 1

Cuidado :se alguma alteração ou execução de DAG acontecer no ambiente do Cloud Composer 1 depois que você salvar o snapshot, as informações sobre essas mudanças não serão transferidas quando você carregar o snapshot mais tarde.

Console

Crie um snapshot do seu ambiente:

1. No console do Google Cloud, acesse a página Ambientes.

   Acessar "Ambientes"

2. Na lista de ambientes, clique no nome do ambiente do Cloud Composer 1. A página Detalhes do ambiente é aberta.

3. Clique em Criar snapshot.

4. Na caixa de diálogo Criar snapshot, clique em Enviar. Neste guia, você salva o snapshot no bucket do ambiente do Cloud Composer 1, mas é possível selecionar um local diferente, se quiser.

5. Aguarde até que o Cloud Composer crie o snapshot.

gcloud

1. Consiga o URI do bucket do ambiente do Cloud Composer 1:

   1. Execute este comando:

      gcloud composer environments describe COMPOSER_1_ENV \
          --location COMPOSER_1_LOCATION \
           --format="value(config.dagGcsPrefix)"
      

      Substitua:

      • COMPOSER_1_ENV pelo nome do ambiente do Cloud Composer 1.
      • COMPOSER_1_LOCATION pela região em que o ambiente está localizado;

   2. Na saída, remova a pasta /dags. O resultado é o URI do bucket do ambiente do Cloud Composer 1.

      Por exemplo, altere gs://us-central1-example-916807e1-bucket/dags para gs://us-central1-example-916807e1-bucket.

2. Crie um snapshot do ambiente do Cloud Composer 1:

   gcloud beta composer environments snapshots save \
     COMPOSER_1_ENV \
     --location COMPOSER_1_LOCATION \
     --snapshot-location "COMPOSER_1_SNAPSHOTS_FOLDER"
   

   Substitua:

   • COMPOSER_1_ENV pelo nome do ambiente do Cloud Composer 1.
   • COMPOSER_1_LOCATION é a região em que o ambiente do Cloud Composer 1 está localizado.
   • COMPOSER_1_SNAPSHOTS_FOLDER pelo URI do bucket do ambiente do Cloud Composer 1. Neste guia, você salva o snapshot no bucket do ambiente do Cloud Composer 1, mas é possível selecionar um local diferente, se quiser. Se você especificar um local personalizado, as contas de serviço dos dois ambientes precisarão ter permissões de leitura e gravação nele.

Etapa 3: criar um ambiente do Cloud Composer 2

Crie um ambiente do Cloud Composer 2. É possível começar com uma predefinição de ambiente que corresponda às demandas de recursos esperadas e, depois, escalonar e otimizar ainda mais o ambiente.

Não é necessário especificar substituições de configuração e variáveis de ambiente, já que elas serão substituídas posteriormente, quando você carregar o snapshot do ambiente do Cloud Composer 1.

Observação :o Cloud Composer carrega substituições de configuração, variáveis de ambiente e pacotes PyPI do ambiente do Cloud Composer 1 para o Cloud Composer 2 sem alterar ou ajustar a compatibilidade. Se pacotes PyPI personalizados causarem conflitos de dependência, pule a instalação ao carregar o snapshot.

Etapa 4: carregar o snapshot no ambiente do Cloud Composer 2

Console

Para carregar o snapshot no ambiente do Cloud Composer 2, faça o seguinte:

1. No console do Google Cloud, acesse a página Ambientes.

   Acessar "Ambientes"

2. Na lista de ambientes, clique no nome do ambiente do Cloud Composer 2. A página Detalhes do ambiente é aberta.

3. Clique em Carregar snapshot.

4. Na caixa de diálogo Carregar snapshot, clique em Procurar.

5. Selecione a pasta com o snapshot. Se você usar o local padrão para este guia, essa pasta estará localizada no seu bucket de ambiente do Cloud Composer 1 na pasta /snapshots e seu nome será o carimbo de data/hora da operação de salvamento de snapshot. Por exemplo, us-central1-example-916807e1-bucket/snapshots_example-project_us-central1_example-environment/2022-01-05T18-59-00.

6. Clique em Carregar e aguarde até que o Cloud Composer carregue o snapshot.

gcloud

Carregue o snapshot do ambiente do Cloud Composer 1 no ambiente do Cloud Composer 2:

gcloud beta composer environments snapshots load \
  COMPOSER_2_ENV \
  --location COMPOSER_2_LOCATION \
  --snapshot-path "SNAPSHOT_PATH"

Substitua:

• COMPOSER_2_ENV pelo nome do ambiente do Cloud Composer 2.
• COMPOSER_2_LOCATION é a região em que o ambiente do Cloud Composer está localizado.
• SNAPSHOT_PATH pelo URI do bucket de ambiente do Cloud Composer 1, seguido pelo caminho para o snapshot. Por exemplo, gs://us-central1-example-916807e1-bucket/snapshots/example-project_us-central1_example-environment_2022-01-05T18-59-00.

Etapa 5: retomar DAGs no ambiente do Cloud Composer 2

Você pode usar qualquer uma das seguintes opções:

• Na interface da Web do Airflow, acesse DAGs e retome todos os DAGs manualmente, um por um.

• Use o script composer_dags para retomar todos os DAGs.

    python3 composer_dags.py --environment COMPOSER_2_ENV \
    --project PROJECT_ID \
    --location COMPOSER_2_LOCATION \
    --operation unpause
  

  Substitua:

  • COMPOSER_2_ENV pelo nome do ambiente do Cloud Composer 2.
  • PROJECT_ID pelo ID do projeto;
  • COMPOSER_2_LOCATION pela região em que o ambiente está localizado;

Etapa 6: verificar se há erros de DAG

1. Na interface da Web do Airflow, acesse DAGs e verifique se há erros de sintaxe de DAG relatados.

2. Verifique se as execuções de DAG estão programadas no horário correto.

3. Aguarde até que as execuções do DAG aconteçam no ambiente do Cloud Composer 2 e verifique se foram bem-sucedidas. Se uma execução do DAG foi bem-sucedida, não a retome no ambiente do Cloud Composer 1. Se você fizer isso, uma execução do DAG para o mesmo horário e data ocorrerá no ambiente do Cloud Composer 1.

4. Se a execução de um DAG específico falhar, tente resolver problemas de antes que ele seja executado no Cloud Composer 2.

Etapa 7: monitorar o ambiente do Cloud Composer 2

Depois de transferir todos os DAGs e a configuração para o ambiente do Airflow 2, monitore-os em busca de possíveis problemas, execuções com falha do DAG e integridade geral do ambiente.

Se o ambiente do Cloud Composer 2 for executado sem problemas por um período suficiente, avalie a possibilidade de excluir o ambiente.

A seguir

• Como resolver problemas de DAGs
• Como resolver problemas da criação de ambientes
• Solução de problemas de atualizações do ambiente
• Como usar pacotes de backport