Visão geral do controle de versões do Cloud Composer

Cloud Composer 1 | Cloud Composer 2

Nesta página, descrevemos o controle de versões do Cloud Composer e listamos as diferenças entre as principais versões dele.

Versões principais do Cloud Composer

O Cloud Composer tem duas versões principais:

  • Cloud Composer 2. Esta versão tem ambientes de escalonamento automático.

  • Cloud Composer 1. Esta versão tem escalonamento manual.

A tabela a seguir lista as principais diferenças entre o Cloud Composer 1 e o Cloud Composer 2.

Cloud Composer 1 Cloud Composer 2
Versões de imagem do Cloud Composer composer-1.x.x composer-2.x.x
Versões do Airflow Airflow 1.10.* e Airflow 2 Airflow 2
Versões do Python 3.8.12 3.8.12
Cluster do ambiente Cluster do Google Kubernetes Engine baseado em rotas ou nativo de VPC do modo padrão Cluster do Google Kubernetes Engine nativo de VPC do modo Autopilot
Escalonamento horizontal Pode ajustar o número de nós no cluster do ambiente. Isso muda o número de workers do Airflow.
Pode ajustar o número de programadores do Airflow. 		Escalonamento automático do número de workers no Airflow, conforme a demanda. Pode definir e alterar os limites superior e inferior para o número de workers.
Pode ajustar o número de programadores do Airflow.
Escalonamento vertical Pode definir tipos de máquina para nós de cluster, servidor da Web do Airflow e banco de dados ao criar um ambiente. Pode alterar tipos de máquina para o servidor da Web e o banco de dados do Airflow. Pode definir e alterar a configuração das cargas de trabalho: parâmetros de CPU, memória e armazenamento para workers, programadores, servidor da Web e banco de dados do Airflow.
Modelo de preços Modelo de preços do Cloud Composer 1 Modelo de preços do Cloud Composer 2
Controle de acesso Papéis do Cloud Composer Papéis do Cloud Composer. Usa a Identidade da carga de trabalho e requer outras permissões para a conta de Agente de serviço do Cloud Composer.
Acesso pela federação de identidade da força de trabalho Sem suporte Compatível
Arquitetura de ambiente Arquitetura de ambiente do Cloud Composer 1 Arquitetura de ambiente do Cloud Composer 2
Rede IP particular Peerings de VPC Peerings de VPC ou Private Service Connect
Suporte ao Terraform Pode criar e atualizar ambientes do Cloud Composer 1. Pode criar e atualizar ambientes do Cloud Composer 2.
CMEK Compatível Compatível
Controles de acesso do servidor da Web Compatível Compatível
Reiniciando o servidor da Web Compatível Compatível
Plug-ins do servidor da Web Compatível com ambientes do Airflow 1 com a serialização de DAG desativada. Compatível
Como instalar plug-ins personalizados Compatível Compatível
Operações de manutenção Todas as tarefas podem ser afetadas. As tarefas que levam menos de 55 minutos para serem executadas não são afetadas.
Carregamento assíncrono do DAG Compatível com Airflow 1 Sem suporte
Serialização do DAG Sempre ativado no Airflow 2. Pode ser desativado no Airflow 1. Sempre ativado no Airflow 2.
Suporte para tags de rede Sim Sim
Nós de cluster com GPUs Sim Não
Como armazenar snapshots Compatível com as versões 2.x e 1.10.15 do Airflow Compatível
Carregando snapshots Sem suporte Compatível
Snapshots programados Sem suporte Compatível

Imagens do Cloud Composer

Para executar o Apache Airflow, o Cloud Composer cria imagens do Docker que combinam pacotes do Airflow com outros binários comuns e bibliotecas Python.

As imagens do Cloud Composer incluem modificações do Airflow específicas do Cloud Composer e inadequadas para a base de código do Airflow de upstream. Os pacotes pré-instalados com as alterações do Airflow específicas do Cloud Composer são chamados coletivamente de versões do Cloud Composer.

O Google lança periodicamente novas imagens do Cloud Composer que incluem novas versões do Airflow e melhorias no Cloud Composer.

Suporte à versão do Cloud Composer 1

As novas versões do Cloud Composer 1 vão ser lançadas até o fim de março de 2023. Todas as versões do Cloud Composer 1 lançadas seguem a política de suspensão de uso de versão e são compatíveis de acordo com ela.

Alguns novos recursos do Cloud Composer podem ser compatíveis apenas no Cloud Composer 2. É possível verificar quais recursos são compatíveis apenas no Cloud Composer 2 na tabela que lista as principais diferenças entre as versões.

Suspensão de uso e suporte à versão do Cloud Composer

O Google é compatível com as versões do Cloud Composer por um período após o lançamento da versão. Durante esse período, os ambientes do Cloud Composer que usam essas versões são totalmente compatíveis.

A compatibilidade das versões do Cloud Composer é definida assim:

  • 0 a 12 meses a partir da data de lançamento: os ambientes do Cloud Composer que executam essas versões são totalmente compatíveis.

  • 12 a 18 meses a partir da data de lançamento: os ambientes do Cloud Composer que executam essas versões não são compatíveis, exceto para notificar os clientes sobre problemas de segurança.

  • Mais de 18 meses a partir da data de lançamento: os ambientes do Cloud Composer que executam essas versões não são compatíveis e são totalmente gerenciados pelo usuário.

Suporte das versões do Airflow

O Airflow segue o esquema semântico do controle de versões de software. Cada versão do Airflow tem uma versão principal, secundária e de patch.

Para ver uma lista das versões do Airflow compatíveis com cada versão do Cloud Composer, consulte a lista de versões do Cloud Composer.

Suporte da versão 2 do Airflow

  • Em cada versão, o Cloud Composer é compatível com duas versões secundárias do Airflow 2.

    Por exemplo, o Cloud Composer 1.17.0 é compatível com Airflow 2.0.* e Airflow 2.1.*.

  • Para cada versão secundária do Airflow 2, o Cloud Composer é compatível com uma versão de patch.

    Por exemplo, para o Airflow 2.1.*, O Cloud Composer é compatível com o Airflow 2.1.2.

  • Quando uma nova versão de patch do Airflow 2 é disponibilizada no Cloud Composer, a versão correspondente tem duas versões de patch do Airflow 2 disponíveis para a mesma versão secundária do Airflow. A versão anterior do patch é removida em uma das próximas versões.

    Por exemplo, o Cloud Composer 1.17.4 é compatível com o Airflow 2.1.2 e o Airflow 2.1.4.

  • O Cloud Composer pode ignorar algumas versões de patch do Airflow entre versões do Cloud Composer. Além disso, se houver problemas funcionais, de qualidade ou de desempenho com uma versão de patch específica do Airflow, o Cloud Composer também poderá ignorar essa versão.

    Por exemplo, o Airflow 2.1.3 é ignorado e o Airflow 2.1.4 está disponível.

  • Uma versão do Cloud Composer executando uma versão estável do Airflow pode incluir atualizações do Airflow que são feitas a partir de uma versão posterior do Airflow.

Esquema de versão do Cloud Composer

O esquema de controle de versões de imagem do Cloud Composer captura versões do Cloud Composer e do Airflow:

composer-a.b.c-airflow-x.y.z

Onde

  • composer-a.b.c é a versão das personalizações gerenciadas pelo Cloud Composer;
  • airflow-x.y.z é a versão do Airflow.

Aliases da versão

O Cloud Composer 2 é compatível com os seguintes aliases de versão:

Alias Versão do Cloud Composer Versão do Airflow
composer-2-airflow-2 Versão mais recente do Cloud Composer 2 Versão mais recente do Airflow 2
composer-2-airflow-x.y Versão mais recente do Cloud Composer 2 Versão mais recente do Airflow nas x.y versões principais e secundárias
composer-2-airflow-x.y.z Versão mais recente do Cloud Composer 2 Versão especificada do Airflow
composer-2.b.c-airflow-x.y Versão especificada do Cloud Composer 2 A versão mais recente do Airflow está disponível no x.y versões principal e secundária

O Cloud Composer 1 é compatível com os seguintes aliases de versão:

Alias Versão do Cloud Composer Versão do Airflow
composer-1-airflow-2 Versão mais recente do Cloud Composer 1 Versão mais recente do Airflow 2
composer-1-airflow-1 Versão mais recente do Cloud Composer 1 Versão mais recente do Airflow 1
composer-1-airflow-x.y Versão mais recente do Cloud Composer 1 Versão mais recente do Airflow nas x.y versões principais e secundárias
composer-1-airflow-x.y.z Versão mais recente do Cloud Composer 1 Versão especificada do Airflow
composer-1.b.c-airflow-x.y Versão especificada do Cloud Composer 1 A versão mais recente do Airflow está disponível no x.y versões principal e secundária.

Os aliases de versão a seguir apontam para o Cloud Composer 2. Você ainda pode usá-los, mas considere trocar para os aliases da sua versão do Cloud Composer.

  • composer-latest-airflow-x.y é igual a composer-2-airflow-x.y.
  • composer-latest-airflow-x.y.z é igual a composer-2-airflow-x.y.z.

Argumentos de versão na Google Cloud CLI

Ao criar ou fazer upgrade de um ambiente do Cloud Composer usando a Google Cloud CLI, é possível especificar as versões do Cloud Composer e do Airflow:

  • O argumento --image-version especifica as versões do Cloud Composer e do Airflow:

    • O formato composer-a.b.c-airflow-x.y.z cria um ambiente com as versões especificadas do Cloud Composer e do Airflow.
    • Os aliases de versão primeiro resolvem para o formato composer-a.b.c-airflow-x.y.z e depois criam um ambiente com as versões especificadas do Cloud Composer e do Airflow.

  • --airflow-version especifica a versão do Airflow em dois formatos:

    • O formato x.y.z é para a versão mais recente do Cloud Composer 2 e a versão especificada do Airflow. Esse formato é igual ao alias de versão composer-2-airflow-x.y.z.

    • O formato x.y é para a versão mais recente do Cloud Composer 2 e a versão mais recente do Airflow disponível nas versões principais e secundárias do x.y. Esse formato é igual ao alias de versão composer-2-airflow-x.y.

A seguir