Visão geral do controle de versões do Cloud Composer

Nesta página, descrevemos o controle de versões do Cloud Composer e listamos as diferenças entre as principais versões dele.

Versões principais do Cloud Composer

O Cloud Composer tem as seguintes versões principais:

  • Cloud Composer 1. Tem escalonamento manual do ambiente, a infraestrutura é implantado nos seus projetos e redes.
  • Cloud Composer 2. Nessa versão, o cluster do ambiente é escalonado automaticamente para atender às demandas de recursos.
  • Cloud Composer 3: Esta versão tem configuração de rede simplificada e oculta componentes de infraestrutura, incluindo o cluster do ambiente e as dependências do ambiente em outros serviços.
.

Comparação das versões do Cloud Composer

A tabela a seguir lista as principais diferenças entre Cloud Composer 1, Cloud Composer 2 e Cloud Composer 3.

Recurso Cloud Composer 1 Cloud Composer 2 Cloud Composer 3
Versão de imagem composer-1.b.c-airflow-x.y.z composer-2.b.c-airflow-x.y.z composer-3-airflow-x.y.z-build.t
Versões do Airflow Airflow 1.10.* e Airflow 2 Airflow 2 Airflow 2
Versões do Python 3.8.12 3.11.5 e 3.8.12 em versões anteriores 3.11.5
Cluster do ambiente Cluster do Google Kubernetes Engine baseado em rotas ou nativo de VPC do modo padrão Cluster do Google Kubernetes Engine nativo de VPC do modo Autopilot O cluster do ambiente não foi implantado no projeto.
Escalonamento horizontal Pode ajustar o número de nós no cluster do ambiente. Isso altera o número de workers do Airflow.
Pode ajustar o número de programadores do Airflow.		 Escalonamento automático do número de workers do Airflow com base na demanda. Pode definir e alterar os limites superior e inferior do número de workers.
Pode ajustar o número de programadores e acionadores do Airflow		 Escalonamento automático do número de workers do Airflow com base na demanda. Pode definir e alterar os limites superior e inferior do número de workers.
Pode ajustar o número de programadores, gatilhos e processadores de DAG do Airflow
Escalonamento vertical Pode definir tipos de máquina para nós do cluster, servidor da Web do Airflow e banco de dados ao criar um ambiente. Pode alterar os tipos de máquina do servidor da Web e do banco de dados do Airflow. Pode definir e alterar a configuração das cargas de trabalho: CPU, memória e parâmetros de armazenamento para workers, programadores, servidor da Web e tamanho do ambiente do Airflow. Pode definir e alterar a configuração das cargas de trabalho: CPU, memória e parâmetros de armazenamento para workers do Airflow, programadores, servidor da Web, processadores de DAG e tamanho do ambiente.
Modelo de preços Modelo de preços do Cloud Composer 1 Modelo de preços do Cloud Composer 2 Modelo de preços do Cloud Composer 3
Controle de acesso Papéis do Cloud Composer 1 Papéis do Cloud Composer. Usa a Identidade da carga de trabalho e requer permissões adicionais para a conta do Agente de serviço do Cloud Composer. Papéis do Cloud Composer. Usa a Identidade da carga de trabalho. Permissões extras não são necessárias
Acessar pela federação de identidade de colaboradores Sem suporte Compatível Compatível
Ambientes altamente resilientes Sem suporte Compatível Indisponível no Acesso antecipado
Rede IP privada Peerings de VPC Private Service Connect Configuração de rede simplificada. É possível alternar entre IP público e privado em um ambiente atual.
VPC Service Controls Compatível Compatível Indisponível no Acesso antecipado
Executores do Airflow Celery Executor Celery Executor Executor do CeleryKubernetes
Acionadores do Airflow (operadores adiáveis) Sem suporte Compatível Compatível
CMEK Compatível Compatível Indisponível no Acesso antecipado
Controles de acesso do servidor da Web Compatível Compatível Compatível
Reiniciando o servidor da Web Compatível Compatível Compatível
Plug-ins do servidor da Web Compatível com ambientes do Airflow 1 com serialização de DAG desativada. Compatível Compatível. Os plug-ins podem ser desativados e ativados sob demanda.
Como instalar plug-ins personalizados Compatível Compatível Compatível
Operações de manutenção Todas as tarefas podem ser afetadas. As tarefas que levam menos de 55 minutos para serem executadas não são afetadas. As tarefas que levam menos de 55 minutos para serem executadas não são afetadas.
Como armazenar snapshots Compatível com as versões 2.x e 1.10.15 do Airflow Compatível Compatível
Carregando snapshots Sem suporte Compatível Compatível
Snapshots programados Sem suporte Compatível Indisponível no Acesso antecipado
Bucket do ambiente personalizado Sem suporte Compatível Compatível
Como salvar registros de tarefas do Airflow apenas no Cloud Logging Sem suporte Compatível Compatível
Integração da linhagem de dados Sem suporte Compatível Compatível

Imagens do Cloud Composer

Para executar o Apache Airflow, o Cloud Composer cria imagens do Docker que combinam pacotes do Airflow com outros binários comuns e bibliotecas Python.

As imagens do Cloud Composer incluem modificações do Airflow específicas do Cloud Composer e inadequadas para a base do código do Airflow de upstream. Cada imagem do Cloud Composer contém pacotes pré-instalados além de alterações específicas do Airflow do Cloud Composer.

O Google lança periodicamente novas imagens do Cloud Composer:

  • No Cloud Composer 3, as imagens incluem novos builds do Airflow compatível versions. É possível selecionar uma versão do Airflow e um build que você quer usar. Seu ambiente recebe melhorias do Cloud Composer automaticamente.

  • No Cloud Composer 2 e no Cloud Composer 1, as imagens incluem Melhorias do Cloud Composer e novos builds de Versões do Airflow. Para receber melhorias do Cloud Composer, você fazer upgrade do ambiente para uma versão posterior do Cloud Composer.

Compatibilidade e suspensão de uso das versões

Composer 3

O Google aceita uma versão do Airflow por um período após a lançamento:

  • Se a versão secundária do Airflow for mais recente disponível no Cloud Composer 3, todos os builds do Airflow com esta versão secundária são totalmente compatíveis. A data exata de término do suporte é é determinado quando uma nova versão secundária do Airflow fica disponível em Cloud Composer 3.

  • Quando uma nova versão secundária do Airflow fica disponível no Cloud Composer 3, todos os builds com a versão secundária anterior do Airflow são compatíveis com 12 meses, a partir dessa data. Se houver vários builds que contêm a mesma versão secundária do Airflow, todas têm o mesmo ponto final data de suporte completa.

  • Quando uma versão secundária não recebe mais suporte, os ambientes que executam essa versão também não são compatíveis e são totalmente gerenciados pelo usuário. Você ainda podem atualizar esse ambiente para uma versão com suporte do Airflow.

É possível criar ambientes com todos os builds do Airflow que são totalmente compatíveis.

Ainda é possível usar um ambiente com um build do Airflow que não seja mais suporte. O ambiente ainda funciona, você pode continuar usando e você pode fazer upgrade para uma versão com suporte total.

Composer 2

O Google aceita duas versões do Cloud Composer por um período após o lançamento da versão. Durante esse período, o Cloud Composer 2 os ambientes que usam essas versões têm suporte total.

O suporte à versão 2 do Cloud Composer é definido da seguinte maneira:

  • 0 a 12 meses a partir da data de lançamento: Cloud Composer 2 ambientes que executam essas versões são totalmente compatíveis.

  • Mais de 12 meses a partir da data de lançamento: Cloud Composer 2 ambientes que executam essas versões não são compatíveis.

É possível usar versões do Cloud Composer após a data em que forem não são mais compatíveis. Por exemplo, se o ambiente for baseado em uma versão do Cloud Composer que tenha passado do período de suporte, o ambiente ainda funcionará e você poderá continuar a usá-lo. Nesse caso, recomendamos faça o upgrade do seu ambiente para uma versão com suporte.

Composer 1

As novas versões do Cloud Composer 1 foram lançadas até o final de março de 2023. Todas as versões lançadas do Cloud Composer 1 seguem a mesma política de descontinuação de versão do Cloud Composer 2 e são compatíveis de acordo com ele.

Em 25 de março de 2024, o Cloud Composer 1 entrou no modo pós-manutenção. O Google não lançará mais atualizações no Cloud Composer 1. incluindo novas versões do Airflow, correções de bugs e atualizações de segurança. Qa Recomendamos a migração para o Cloud Composer 2.

Suporte das versões do Airflow

O Airflow segue o esquema semântico do controle de versões de software. Cada versão do Airflow tem uma versão principal, secundária e de patch.

Composer 3

No Cloud Composer 3, novas versões e builds do Airflow são disponibilizadas o tempo passa.

Seu ambiente pode funcionar com todas as versões e builds anteriores do Airflow, e recebe atualizações nos componentes de infraestrutura automaticamente. Cada versão e build compatíveis, conforme descrito em Suspensão de uso e suporte de versões, e pode fazer upgrade da versão do Airflow para uma versão ou build mais recente.

Composer 2

Para ver uma lista das versões do Airflow compatíveis com cada versão do Cloud Composer, consulte a lista de versões do Cloud Composer.

  • Em cada versão, o Cloud Composer 2 oferece suporte duas versões secundárias do Airflow 2.

    Por exemplo, o Cloud Composer 2.4.0 oferece suporte ao Airflow 2.4.* e Airflow 2.5.*

  • Para cada versão secundária do Airflow 2, o Cloud Composer é compatível com uma versão de patch.

    Por exemplo, para o Airflow 2.4.*, O Cloud Composer dá suporte O Airflow 2.4.3

  • Quando uma nova versão de patch do Airflow 2 é disponibilizada no Cloud Composer, a versão correspondente tem duas versões de patch do Airflow 2 disponíveis para a mesma versão secundária do Airflow. A versão anterior do patch é removida em uma das próximas versões.

    Por exemplo, o Cloud Composer 2.3.4 oferece suporte ao Airflow 2.5.1 e Airflow 2.5.3.

  • O Cloud Composer pode ignorar algumas versões de patch do Airflow entre versões do Cloud Composer. Além disso, se houver problemas funcionais, de qualidade ou de desempenho com uma versão de patch específica do Airflow, o Cloud Composer também poderá ignorar essa versão.

    Por exemplo, o Airflow 2.1.3 é ignorado e o Airflow 2.1.4 está disponível.

  • Uma versão do Cloud Composer executando uma versão estável do Airflow pode incluir atualizações do Airflow que são feitas a partir de uma versão posterior do Airflow.

Composer 1

A versão mais recente do Airflow compatível com o Cloud Composer 1 é o Airflow 2.4.3.

Apenas o Cloud Composer 1 oferece suporte ao Airflow 1.10.15, que é a versão do Airflow 1.

Esquema de versão do Cloud Composer

Composer 3

O esquema de controle de versões do Cloud Composer 3 captura versões e builds do Airflow:

composer-3-airflow-x.y.z-build.t

Em que:

  • composer-3 é a versão do Cloud Composer.
  • airflow-x.y.z.build.t é a versão e o build do Airflow. Todas as próximas versões da mesma versão do Airflow no Cloud Composer 3 têm uma número de build maior. O número da versão é definido pela Cloud Composer, e não pelo projeto de código aberto do Airflow.

Composer 2

O esquema de controle de versões de imagens do Cloud Composer 2 captura o Cloud Composer e do Airflow:

composer-2.b.c-airflow-x.y.z

Em que:

  • composer-2.b.c é a versão das personalizações gerenciadas pelo Cloud Composer;
  • airflow-x.y.z é a versão do Airflow.

Composer 1

O esquema de controle de versões de imagens do Cloud Composer 1 captura o Cloud Composer e do Airflow:

composer-1.b.c-airflow-x.y.z

Em que:

  • composer-1.b.c é a versão das personalizações gerenciadas pelo Cloud Composer;
  • airflow-x.y.z é a versão do Airflow.

Aliases da versão

Os aliases de versão funcionam da seguinte maneira:

  • O Cloud Composer resolve o alias de versão para o formato completo quando ele cria seu ambiente:

    • Todos os aliases de versão se tornam composer-3-airflow-x.y.z-build.t em Cloud Composer 3.
    • Todos os aliases de versão se tornam composer-a.b.c-airflow-x.y.z em Cloud Composer 2 e Cloud Composer 1.

  • No Cloud Composer 3, use um alias de versão, como composer-3-airflow-x.y não faz o upgrade automático da versão e do build do Airflow do de nuvem. O ambiente permanece no mesmo build e até que você a atualize. O ambiente ainda recebe upgrades de infraestrutura, como sempre.

  • No Cloud Composer 2 e no Cloud Composer 1, use um alias de versão, como O composer-a-airflow-x.y.z não fornece upgrades automáticos para um de nuvem. O ambiente permanece no mesmo Cloud Composer e a versão do Airflow até o upgrade.

Aliases da versão do Cloud Composer 3

O Cloud Composer 3 oferece suporte aos aliases de versão a seguir:

Alias Versão do Airflow
composer-3-airflow-2 Versão e build mais recentes do Airflow 2
composer-3-airflow-x.y Versão e build mais recentes do Airflow em x.y versões principais e secundárias
composer-3-airflow-x.y.z Build mais recente da versão especificada do Airflow

Aliases da versão do Cloud Composer 2

O Cloud Composer 2 oferece suporte aos aliases de versão a seguir:

Alias Versão do Cloud Composer Versão do Airflow
composer-2-airflow-2 Versão mais recente do Cloud Composer 2 Versão mais recente do Airflow 2
composer-2-airflow-x.y Versão mais recente do Cloud Composer 2 Versão mais recente do Airflow em x.y versões principais e secundárias
composer-2-airflow-x.y.z Versão mais recente do Cloud Composer 2 Versão especificada do Airflow
composer-2.b.c-airflow-x.y Versão especificada do Cloud Composer 2 A versão mais recente do Airflow disponível em x.y versões principais e secundárias

Aliases da versão do Cloud Composer 1

O Cloud Composer 1 oferece suporte aos aliases de versão a seguir:

Alias Versão do Cloud Composer Versão do Airflow
composer-1-airflow-2 Versão mais recente do Cloud Composer 1 Versão mais recente do Airflow 2
composer-1-airflow-1 Versão mais recente do Cloud Composer 1 Versão mais recente do Airflow 1
composer-1-airflow-x.y Versão mais recente do Cloud Composer 1 Versão mais recente do Airflow em x.y versões principais e secundárias
composer-1-airflow-x.y.z Versão mais recente do Cloud Composer 1 Versão especificada do Airflow
composer-1.b.c-airflow-x.y Versão especificada do Cloud Composer 1 A versão mais recente do Airflow disponível nas versões principais e secundárias x.y.

Os aliases de versão a seguir apontam para o Cloud Composer 2. Você ainda pode usar mas considere mudar para aliases na sua versão do Cloud Composer

  • composer-latest-airflow-x.y é igual a composer-2-airflow-x.y.
  • composer-latest-airflow-x.y.z é igual a composer-2-airflow-x.y.z.

Argumentos de versão na Google Cloud CLI

Ao criar ou fazer upgrade em um ambiente do Cloud Composer usando a Google Cloud CLI, é possível especifique as versões do Cloud Composer e do Airflow:

Composer 3

  • O argumento --image-version especifica a versão do Airflow e o build no formato composer-3-airflow-x.y.z-build.t. Você pode usar aliases de versão, que são resolvidos pelo Google Cloud CLI no formato completo.

  • --airflow-version especifica a versão do Airflow nos seguintes formatos:

    • O formato x.y.z é destinado ao build mais recente da versão especificada do o Airflow. Esse formato é igual ao composer-3-airflow-x.y.z alias de versão.

    • O formato x.y é para o build mais recente do Airflow disponível no x.y versão principal e secundária. Esse formato é igual ao Alias de versão de composer-3-airflow-x.y.

    • x.y.z-build.t é a versão e o build especificadas do Airflow. Isso formato é igual a composer-3-airflow-x.y.z-build.t.

Composer 2

  • O argumento --image-version especifica o Cloud Composer 2 e o Airflow versions:

    • composer-a.b.c-airflow-x.y.z cria um ambiente com o versões específicas do Cloud Composer e do Airflow.
    • Aliases de versão são resolvidos primeiro para no formato composer-a.b.c-airflow-x.y.z e depois cria uma com as versões especificadas do Cloud Composer 2 e Airflow.

  • --airflow-version especifica a versão do Airflow nos seguintes formatos:

    • O formato x.y.z é para a versão mais recente do Cloud Composer 2. a versão especificada do Airflow. Esse formato é igual a o alias de versão do composer-2-airflow-x.y.z.

    • O formato x.y se destina à versão mais recente do Cloud Composer 2 e ao versão mais recente do Airflow disponível nas x.y principais e secundárias versions. Esse formato é igual ao composer-2-airflow-x.y alias de versão.

Composer 1

  • O argumento --image-version especifica o Cloud Composer 1 e o Airflow versions:

    • composer-a.b.c-airflow-x.y.z cria um ambiente com o versões específicas do Cloud Composer e do Airflow.
    • Aliases de versão são resolvidos primeiro para no formato composer-a.b.c-airflow-x.y.z e depois cria uma com as versões especificadas do Cloud Composer 1 e Airflow.

  • --airflow-version especifica a versão do Airflow nos seguintes formatos:

    • O formato x.y.z é para a versão mais recente do Cloud Composer 1 e a versão especificada do Airflow. Esse formato é igual a o alias de versão do composer-1-airflow-x.y.z.

    • O formato x.y é para a versão mais recente do Cloud Composer 1 e da versão mais recente do Airflow disponível no x.y versão principal e secundária. Esse formato é igual ao Alias de versão de composer-1-airflow-x.y.

A seguir