Fazer upgrade dos ambientes

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Esta página descreve como fazer upgrade do ambiente para uma nova versão do Airflow.

Sobre as operações de upgrade

No Cloud Composer 3, você não gerencia a versão do Cloud Composer do seu ambiente:

  • O Cloud Composer faz upgrade automático dos componentes de infraestrutura do seu ambiente. Esses componentes estão relacionados à funcionalidade do Cloud Composer e não mudam o funcionamento do Airflow nem a execução dos DAGs.
  • O Cloud Composer não faz upgrade automático da versão e do build do Airflow, nem dos componentes do Airflow ou de componentes intimamente relacionados às cargas de trabalho do Airflow. Elas não são alteradas quando os componentes da infraestrutura são atualizados automaticamente.
  • É possível fazer upgrade manualmente para uma nova versão ou build do Airflow.

Por exemplo, é possível usar a mesma versão e build do Airflow por vários meses sem fazer upgrades. Além disso, o ambiente ainda recebe as atualizações, correções e melhorias mais recentes do Cloud Composer dos componentes de infraestrutura do ambiente. Quando você decidir mudar para uma nova versão ou build do Airflow, faça upgrade da versão do Airflow no seu ambiente.

Sobre o upgrade da versão do Airflow

O ambiente muda a versão ou o build do Airflow da seguinte maneira:

  • Você controla a versão (e o build) do Airflow do seu ambiente. É possível realizar a operação de upgrade da versão do Airflow quando você muda seu ambiente para uma versão diferente do Airflow. Isso pode acontecer, por exemplo, se a versão e o build atuais do Airflow não tiverem mais suporte.

  • O Cloud Composer reimplanta os componentes do Airflow do seu ambiente usando a versão e o build especificados.

  • O Cloud Composer aplica mudanças de configuração do Airflow, como pacotes PyPI personalizados ou modificações de opção de configuração do Airflow, se o ambiente já tinha esses recursos antes do upgrade.

  • O Cloud Composer atualiza a conexão airflow_db do Airflow para apontar para o novo banco de dados do Cloud SQL.

Mudar a versão do Airflow não altera a forma como você se conecta aos recursos no seu ambiente, como o URL do bucket do ambiente ou o servidor da Web do Airflow.

Sobre as operações automáticas de upgrade de infraestrutura

O Cloud Composer executa periodicamente operações automáticas de upgrade de infraestrutura:

  • As operações de upgrade automático de infraestrutura são executadas periodicamente durante as janelas de manutenção especificadas para o ambiente.

  • Não é possível desativar upgrades automáticos de infraestrutura no Cloud Composer 3. É possível controlar os períodos em que os upgrades automáticos podem ser executados especificando janelas de manutenção personalizadas para seu ambiente.

  • Essa operação fica visível no console do Google Cloud e nos registros do ambiente, como qualquer outra operação de longa duração. Enquanto a operação estiver em execução, não será possível iniciar outras operações no nível do ambiente, mas ainda será possível executar DAGs do Airflow.

  • Em alguns casos, as atualizações automáticas de infraestrutura podem reiniciar os componentes do Airflow. Durante essas reinicializações, os workers do Airflow são encerrados de modo otimizado com um período de carência de 24 horas. Se você tiver tarefas que precisam de mais de 24 horas para serem concluídas, use operadores adiáveis. Uma atualização pode resultar em um curto período de indisponibilidade dos componentes de infraestrutura do ambiente, como o monitoramento do ambiente.

Limitações das operações de upgrade

As operações de upgrade têm as seguintes limitações:

  • Não é possível fazer downgrade para uma versão ou build anterior do Airflow.

  • Não será possível fazer upgrade do ambiente se o banco de dados do Airflow tiver mais de 20 GB de dados. Durante um upgrade, um aviso será exibido se o tamanho do banco de dados do Airflow for maior que 20 GB. Nesse caso, faça a manutenção do banco de dados para reduzir o tamanho dele.

  • Se você usar o mecanismo XCom para transferir arquivos, use-o de acordo com as diretrizes do Airflow. A transferência de arquivos grandes ou de um grande número de arquivos usando o XCom afeta a performance do banco de dados do Airflow e pode causar falhas ao carregar instantâneos ou fazer upgrade do seu ambiente. Considere usar alternativas, como o Cloud Storage, para transferir grandes volumes de dados.

Antes de começar

  • Recomendamos criar um novo snapshot do ambiente para poder recriar o ambiente, caso necessário.

  • Sua conta precisa ter um papel que acione operações de upgrade do ambiente. Além disso, a conta de serviço do ambiente precisa ter um papel com permissões suficientes para executar operações de upgrade. Para mais informações, consulte Controle de acesso.

Verificar se o ambiente está atualizado

O Cloud Composer mostra avisos quando o build do Airflow do seu ambiente se aproxima da data de término do suporte. Você pode usar esses avisos para sempre manter o suporte ao seu ambiente.

Uma mensagem de descontinuação é exibida na página "Detalhes do ambiente"
Figura 1. Uma mensagem de descontinuação é exibida na página de detalhes do ambiente.

O Cloud Composer monitora a versão e o build do Airflow em que seu ambiente se baseia. Quando a imagem estiver próxima do fim da data de suporte, você vai receber um aviso na lista de ambientes e na página Detalhes do ambiente.

Para verificar se o ambiente está atualizado:

Console

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Na lista de ambientes, clique no nome do seu ambiente. A página Detalhes do ambiente é aberta.

  3. Acesse a guia Configuração do ambiente.

  4. No campo Versão da imagem, uma das seguintes mensagens será exibida:

    • Versão mais nova disponível. A imagem do ambiente é totalmente compatível.

    • Nova versão disponível. A imagem do ambiente é totalmente compatível e é possível fazer upgrade dela para uma versão posterior.

    • O suporte para esta versão de imagem termina em... A imagem do ambiente se aproxima do final do período de suporte completo.

    • Esta versão não é compatível desde... Seu ambiente já passou do período de suporte completo.

gcloud

Essa funcionalidade não está disponível na CLI do Google Cloud. Você pode ver os upgrades sugeridos, que mostram as novas versões disponíveis.

API

Essa funcionalidade não está disponível na API. Você pode acessar os upgrades sugeridos, que mostram as novas versões disponíveis.

Conferir upgrades sugeridos

O Cloud Composer fornece uma lista de builds do Airflow para fazer upgrade do ambiente.

Para conferir as versões do Cloud Composer sugeridas para upgrade:

Console

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Na lista de ambientes, clique no nome do seu ambiente. A página Detalhes do ambiente é aberta.

  3. Acesse a guia Configuração do ambiente e clique em Fazer upgrade da versão da imagem.

  4. Para ver a lista de versões sugeridas, clique no menu suspenso Versão de imagem do Cloud Composer.

gcloud 

gcloud composer environments list-upgrades \
  ENVIRONMENT_NAME \
  --location LOCATION

Substitua:

  • ENVIRONMENT_NAME pelo nome do ambiente
  • LOCATION pela região em que o ambiente está localizado;

Exemplo:

gcloud composer environments list-upgrades example-environment \
  --location us-central1

API

Você pode conferir as versões disponíveis para um local. Para fazer isso, crie uma solicitação de API imageVersions.list.

Exemplo:

// GET https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/imageVersions

Verificar conflitos de pacote PyPI antes de fazer upgrade

É possível verificar se os pacotes PyPI instalados no ambiente têm conflitos com pacotes pré-instalados na nova versão ou build do Airflow.

Uma verificação bem-sucedida significa que não há conflitos nas dependências de pacote PyPI entre a versão atual e a especificada. No entanto, uma operação de upgrade ainda pode não ser bem-sucedida devido a outros motivos.

Console

Para executar uma verificação de upgrade no ambiente:

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Na lista de ambientes, clique no nome do seu ambiente. A página Detalhes do ambiente é aberta.

  3. Acesse a guia Configuração do ambiente, localize a entrada Versão da imagem e clique em Fazer upgrade.

  4. Na caixa de diálogo Upgrade da versão do ambiente, na lista suspensa Nova versão, selecione uma versão ou build do Airflow para a qual você quer fazer upgrade.

  5. Na seção Compatibilidade de pacotes PyPI, clique em Verificar conflitos.

  6. Aguarde a conclusão da verificação. Se houver conflitos de dependência de pacote PyPI, as mensagens de erro exibidas conterão detalhes sobre pacotes conflitantes e versões de pacotes.

gcloud

Para executar uma verificação de upgrade no ambiente, execute o comando environments check-upgrade com a versão ou o build do Airflow para o qual você quer fazer upgrade.

gcloud composer environments check-upgrade \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --airflow-version VERSION

Substitua:

  • ENVIRONMENT_NAME pelo nome do ambiente
  • LOCATION pela região em que o ambiente está localizado;
  • VERSION com a nova versão e build do Airflow para a qual você quer fazer upgrade, no formato airflow-x.y.z-build.t. Também é possível usar todos os aliases de versão.

Exemplo:

gcloud composer environments check-upgrade example-environment \
  --location us-central1 \
  --airflow-version airflow-2.10.2-build.7

Exemplo de saída:

Waiting for [projects/example-project/locations/us-central1/environments/
example-environment] to be checked for PyPI package conflicts when upgrading
to composer-3-airflow-2.10.2-build.7. Operation [projects/example-project/locations/
us-central1/operations/04d0e8b2-...]...done.
...

Response:
'@type': type.googleapis.com/
google.cloud.orchestration.airflow.service.v1.CheckUpgradeResponse
buildLogUri: https://console.cloud.google.com/cloud-build/builds/79738aa7-...
containsPypiModulesConflict: CONFLICT
pypiConflictBuildLogExtract: |-
The Cloud Build image build failed: Build failed; check build logs for
details. Full log can be found at https://console.cloud.google.com/
cloud-build/builds/79738aa7-...
Error details: tensorboard 2.2.2 has requirement
setuptools>=41.0.0, but you have setuptools 40.3.0.

Como alternativa, é possível executar uma verificação de upgrade de forma assíncrona. Use o argumento --async para fazer uma chamada assíncrona e verifique o resultado com o comando gcloud composer operations describe.

API

Crie uma solicitação de API environments.checkUpgrade.

Especifique a versão da imagem no campo imageVersion:

{
  "imageVersion": "VERSION"
}

Substitua VERSION pela nova versão para a qual você quer fazer upgrade, no formato composer-3-airflow-x.y.z-build.t.

Fazer upgrade do ambiente

Para fazer upgrade do seu ambiente para uma nova versão ou build do Airflow:

Console

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Na lista de ambientes, clique no nome do seu ambiente. A página Detalhes do ambiente é aberta.

  3. Acesse a guia Configuração do ambiente.

  4. Localize o item Versão da imagem e clique em Fazer upgrade.

  5. No menu suspenso Versão da imagem, selecione uma versão ou build do Airflow para fazer upgrade.

  6. Clique em Fazer upgrade.

gcloud 

gcloud composer environments update \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --airflow-version VERSION

Substitua:

  • ENVIRONMENT_NAME pelo nome do ambiente
  • LOCATION pela região em que o ambiente está localizado;
  • VERSION com a nova versão e build do Airflow para a qual você quer fazer upgrade, no formato airflow-x.y.z-build.t. Também é possível usar todos os aliases de versão.

Exemplo:

gcloud composer environments update
  example-environment \
  --location us-central1 \
  --airflow-version airflow-2.10.2-build.7

API

  1. Crie uma solicitação de API environments.patch.

  2. Nesta solicitação:

    1. No parâmetro updateMask, especifique a máscara config.softwareConfig.imageVersion.

    2. No corpo da solicitação, no campo imageVersion, especifique uma nova versão para a qual você quer fazer upgrade.

Exemplo:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.imageVersion

  {
    "config": {
      "softwareConfig": {
        "imageVersion": "composer-3-airflow-2.10.2-build.7"
      }
    }
  }

Terraform

O campo image_version no bloco config.software_config controla a versão e o build do Airflow do seu ambiente. Nesse campo, especifique uma nova versão e um build do Airflow. 

  resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    software_config {
      image_version = "VERSION"
    }
  }
}

Substitua:

  • ENVIRONMENT_NAME pelo nome do ambiente
  • LOCATION pela região em que o ambiente está localizado; a nova versão e o build do Airflow para o qual você quer fazer upgrade no formato airflow-x.y.z-build.t. Também é possível usar todos os aliases de versão.

Exemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    software_config {
      image_version = "airflow-2.10.2-build.7"
    }
  }
}

A seguir