Fazer upgrade dos ambientes

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Esta página descreve como fazer upgrade do seu ambiente para uma nova versão do Cloud Composer ou do Airflow.

Sobre as operações de upgrade

É possível fazer upgrade das versões do Cloud Composer e do Airflow ou ambos ao mesmo tempo.

Quando você altera a versão do Airflow ou do Cloud Composer usada pelo seu ambiente:

• O Cloud Composer reimplanta os componentes do ambiente usando novas versões das imagens do Cloud Composer.

• O Cloud Composer aplica mudanças de configuração do Airflow, como pacotes PyPI personalizados ou substituições de opção de configuração do Airflow, se o ambiente já tinha essas opções antes do upgrade.

• O Cloud Composer atualiza a conexão airflow_db do Airflow para apontar para o novo banco de dados do Cloud SQL.

O upgrade não muda a maneira como você se conecta aos recursos do seu ambiente, como o URL do bucket do ambiente ou o servidor da Web do Airflow.

Limitações das operações de upgrade

As operações de upgrade têm as seguintes limitações:

• Não é possível fazer downgrade para uma versão anterior do Cloud Composer ou do Airflow.

• No console do Google Cloud, só é possível fazer upgrade para a versão com suporte mais recente diferentes do Cloud Composer.

• Na CLI, API ou Terraform do Google Cloud, é possível fazer upgrade de um ambiente para as versões mais recentes com suporte, três versões anteriores do Cloud Composer, a última versão de patch da versão secundária anterior e para versões com um cronograma de upgrade estendido. Não é o upgrade para outras versões do Cloud Composer, mesmo que eles ainda têm suporte e podem ser usados para criar um novo ambiente.

• A versão para a qual você fará o upgrade precisa ser compatível com as versão atual do Python.

• Os limites de cota da API Compute Engine podem impedir upgrades. No console do Google Cloud, acesse IAM e administrador > Cotas e limites do sistema e verifique se o A cota de CPU da API Compute Engine não foi excedida. Se o limite de cota estiver sendo alcançado, solicite a extensão de cota antes de prosseguir com a operação de upgrade.

• Não será possível fazer upgrade do ambiente se o banco de dados do Airflow tiver com mais de 16 GB de dados. Durante um upgrade, um aviso será exibido se o tamanho do banco de dados do Airflow for maior que 16 GB. Nesse caso, realize a manutenção do banco de dados para reduzir o tamanho do banco de dados.

• Se você usar o mecanismo XCom para transferir arquivos, certifique-se de usá-la de acordo com as diretrizes do Airflow. A transferência de arquivos grandes ou um grande número de arquivos usando o XCom afeta Desempenho do banco de dados do Airflow e pode causar falhas no carregamento snapshots ou o upgrade do ambiente. Considere usar alternativas como para transferir grandes volumes de dados.

Antes de começar

Cuidado:

• Certifique-se de conhecer as diferenças entre as versões atuais do Airflow e do Cloud Composer e a para as quais você está fazendo upgrade. A nova versão pode incluir diferentes versões de aplicativos pacotes, patches do Cloud Composer ou alterações no Airflow fornecida pelo projeto de código aberto do Airflow. É possível verificar as versões dos pacotes de provedor incluídos em uma versão específica.

• Verifique se seus DAGs são compatíveis com a nova versão do Airflow e as novas versões de todos os pacotes de provedor, incluindo o pacote do provedor do Airflow para o Google Cloud e os serviços do Google. Mudanças incompatíveis podem fazer com que seus DAGs parem de funcionar.

• Durante uma operação de upgrade, todas as tarefas em execução são encerradas. Depois que o upgrade é concluído, o Airflow programa essas tarefas para uma nova tentativa, dependendo da maneira como você configura novas tentativas para os DAGs.

• Não faça upgrade dos clusters do GKE de ambientes do Cloud Composer para versões mais recentes. Use a versão do GKE que foi pré-configurada durante a criação do ambiente e conte com upgrades automáticos do serviço do GKE.

• Recomendamos criar um novo snapshot do para recriá-lo caso isso seja necessário.

• Sua conta precisa ter um papel que possa acionar o upgrade do ambiente as operações. Além disso, a conta de serviço do ambiente precisa ter um papel com permissões suficientes para executar operações de upgrade. Para mais mais comuns, consulte Controle de acesso.

Verificar se o ambiente está atualizado

O Cloud Composer mostra avisos quando a imagem do seu ambiente estiver perto do fim da data de suporte total. Você pode usar esses avisos para sempre manter o ambiente com suporte.

Figura 1. Uma mensagem de descontinuação é exibida na página página de detalhes

O Cloud Composer monitora os Versão da imagem do Cloud Composer em que o ambiente é baseado. Quando a imagem estiver próxima do fim da data de suporte, você vai receber um aviso na lista de ambientes e na página Detalhes do ambiente.

Observação: sempre é possível fazer upgrade do ambiente, mesmo A versão de imagem do Cloud Composer já passou do período de suporte completo.

Para verificar se o ambiente está atualizado:

Console

1. No console do Google Cloud, acesse a página Ambientes.

   Acessar "Ambientes"

2. Na lista de ambientes, clique no nome do seu ambiente. A página Detalhes do ambiente é aberta.

3. Acesse a guia Configuração do ambiente.

4. No campo Versão da imagem, uma das seguintes mensagens será exibida:

   • Versão mais nova disponível. A imagem do ambiente é totalmente compatível.

   • Nova versão disponível. A imagem do ambiente é totalmente compatível e é possível fazer upgrade dela para uma versão posterior.

   • O suporte para esta versão de imagem termina em... A imagem do ambiente se aproxima do final do período de suporte completo.

   • Esta versão não é compatível desde... Seu ambiente já passou do período de suporte completo.

gcloud

Essa funcionalidade não está disponível pela Google Cloud CLI. Você pode Confira os upgrades disponíveis, que mostra as novas versões que estão disponíveis.

API

Essa funcionalidade não está disponível na API. Você pode ver os upgrades disponíveis, que mostram as novas versões disponíveis.

Conferir os upgrades disponíveis

Para ver para quais versões do Cloud Composer é possível fazer upgrade, siga estas etapas:

Console

1. No console do Google Cloud, acesse a página Ambientes.

   Acessar "Ambientes"

2. Na lista de ambientes, clique no nome do ambiente. A página Detalhes do ambiente é aberta.

3. Acesse a guia Configuração do ambiente e clique em Fazer upgrade da versão da imagem.

4. Para acessar a lista de versões disponíveis, clique no nome do Cloud Composer Menu suspenso Versão da imagem.

gcloud

gcloud composer environments list-upgrades \
  ENVIRONMENT_NAME \
  --location LOCATION

Substitua:

• ENVIRONMENT_NAME pelo nome do ambiente
• LOCATION pela região em que o ambiente está localizado;

Exemplo:

gcloud composer environments list-upgrades example-environment \
  --location us-central1

API

É possível consultar as versões disponíveis para um local. Para fazer isso, crie uma solicitação de API imageVersions.list.

Exemplo:

// GET https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/imageVersions

Verificar conflitos de pacote PyPI antes de fazer upgrade

Visualização — Upgrade check

Esse recurso está sujeito aos "Termos de ofertas pré-GA" na seção "Termos de Serviço gerais" dos Termos específicos de serviço. Os recursos pré-GA estão disponíveis "no estado em que se encontram" e podem ter suporte limitado. Para mais informações, consulte as descrições da fase de lançamento.

É possível verificar se os pacotes PyPI instalados no ambiente têm conflitos com pacotes pré-instalados na nova imagem do Cloud Composer.

Uma verificação bem-sucedida significa que não há conflitos nas dependências de pacote PyPI entre a versão atual e a especificada. No entanto, uma operação de upgrade ainda pode não ser bem-sucedida devido a outros motivos.

Console

Para executar uma verificação de upgrade no ambiente:

1. No console do Google Cloud, acesse a página Ambientes.

   Acessar "Ambientes"

2. Na lista de ambientes, clique no nome do ambiente. A página Detalhes do ambiente é aberta.

3. Acesse a guia Configuração do ambiente, localize a entrada Versão da imagem e clique em Fazer upgrade.

4. Na caixa de diálogo Upgrade da versão do ambiente, em na lista suspensa Nova versão, selecione uma versão do Cloud Composer para os quais você quer fazer o upgrade.

5. Na seção Compatibilidade de pacotes PyPI, clique em Verificar conflitos.

6. Aguarde a conclusão da verificação. Se houver conflitos de dependência de pacote PyPI, as mensagens de erro exibidas conterão detalhes sobre pacotes conflitantes e versões de pacotes.

gcloud

Para realizar uma verificação de upgrade no seu ambiente, execute o environments check-upgrade com o Versão de imagem do Cloud Composer. para os quais você quer fazer o upgrade.

gcloud composer environments check-upgrade \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --image-version VERSION

Substitua:

• ENVIRONMENT_NAME pelo nome do ambiente
• LOCATION pela região em que o ambiente está localizado;
• VERSION com a nova versão de imagem do Cloud Composer para a qual você quer fazer upgrade, no formato composer-a.b.c-airflow-x.y.z. Também é possível usar todas aliases de versão.

Exemplo:

gcloud composer environments check-upgrade example-environment \
  --location us-central1 \
  --image-version composer-2.9.7-airflow-2.9.3

Exemplo de saída:

Waiting for [projects/example-project/locations/us-central1/environments/
example-environment] to be checked for PyPI package conflicts when upgrading
to composer-2.9.7-airflow-2.9.3. Operation [projects/example-project/locations/
us-central1/operations/04d0e8b2-...]...done.
...

Response:
'@type': type.googleapis.com/
google.cloud.orchestration.airflow.service.v1.CheckUpgradeResponse
buildLogUri: https://console.cloud.google.com/cloud-build/builds/79738aa7-...
containsPypiModulesConflict: CONFLICT
pypiConflictBuildLogExtract: |-
The Cloud Build image build failed: Build failed; check build logs for
details. Full log can be found at https://console.cloud.google.com/
cloud-build/builds/79738aa7-...
Error details: tensorboard 2.2.2 has requirement
setuptools>=41.0.0, but you have setuptools 40.3.0.

Como alternativa, é possível executar uma verificação de upgrade de forma assíncrona. Use o argumento --async para fazer uma chamada assíncrona e verifique o resultado com o comando gcloud composer operations describe.

API

Crie uma solicitação de API environments.checkUpgrade.

Especifique a versão da imagem no campo imageVersion:

{
  "imageVersion": "VERSION"
}

Substitua VERSION pela nova versão para a qual você quer fazer upgrade, no formato composer-a.b.c-airflow-x.y.z.

Fazer upgrade do ambiente

Cuidado: pause todos os DAGs e aguarde o término das tarefas em andamento antes de fazer upgrade.

Para fazer upgrade do seu ambiente para uma versão mais recente do Cloud Composer ou do Airflow:

Console

1. No console do Google Cloud, acesse a página Ambientes.

   Acessar "Ambientes"

2. Na lista de ambientes, clique no nome do seu ambiente. A página Detalhes do ambiente é aberta.

3. Acesse a guia Configuração do ambiente.

4. Localize o item Versão da imagem e clique em Fazer upgrade.

5. No menu suspenso Versão da imagem, selecione uma versão do Cloud Composer para os quais você quer fazer o upgrade.

6. Clique em Fazer upgrade.

gcloud

gcloud composer environments update \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --image-version VERSION

Substitua:

• ENVIRONMENT_NAME pelo nome do ambiente
• LOCATION pela região em que o ambiente está localizado;
• VERSION com a nova versão de imagem do Cloud Composer para o qual você quer fazer o upgrade, no objeto composer-a.b.c-airflow-x.y.z . Também é possível usar todas aliases de versão.

Exemplo:

gcloud composer environments update
  example-environment \
  --location us-central1 \
  --image-version composer-2.9.7-airflow-2.9.3

API

1. Crie uma solicitação de API environments.patch.

2. Nesta solicitação:

   1. No parâmetro updateMask, especifique Máscara config.softwareConfig.imageVersion.

   2. No corpo da solicitação, no campo imageVersion, especifique uma nova versão para a qual você quer fazer upgrade.

Exemplo:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.imageVersion

  {
    "config": {
      "softwareConfig": {
        "imageVersion": "composer-2.9.7-airflow-2.9.3"
      }
    }
  }

Terraform

O campo image_version no bloco config.software_config controla a imagem do Cloud Composer do seu ambiente. Neste especifique uma nova imagem do Cloud Composer.

  resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    software_config {
      image_version = "VERSION"
    }
  }
}

Substitua:

• ENVIRONMENT_NAME pelo nome do ambiente
• LOCATION pela região em que o ambiente está localizado; a nova versão da imagem do Cloud Composer para a qual você quer fazer upgrade, no formato composer-a.b.c-airflow-x.y.z. Também é possível usar todos os aliases de versão.

Exemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    software_config {
      image_version = "composer-2.9.7-airflow-2.9.3"
    }
  }
}

A seguir

• Lista de versões
• Controle de versões do Cloud Composer
• Atualizar ambientes