Panoramica del controllo delle versioni di Cloud Composer

Cloud Composer 1 | Cloud Composer 2

Questa pagina descrive il controllo delle versioni di Cloud Composer ed elenca le differenze tra le principali versioni di Cloud Composer.

Versioni principali di Cloud Composer

Cloud Composer dispone di due versioni principali:

  • Cloud Composer 2. Questa versione ha ambienti con scalabilità automatica.

  • Cloud Composer 1 Questa versione ha la scalabilità manuale.

La seguente tabella elenca le principali differenze tra Cloud Composer 1 e Cloud Composer 2.

Cloud Composer 1 Cloud Composer 2
Versioni immagine di Cloud Composer composer-1.x.x composer-2.x.x
Versioni Airflow Airflow 1.10.* e Airflow 2 Flusso d'aria 2
Versioni Python 3,8,12 3,8,12
Cluster dell'ambiente Cluster Google Kubernetes Engine nativo o VPC nativo in modalità standard Cluster Google Kubernetes Engine nativo di modalità Autopilot
Scalabilità orizzontale Può modificare il numero di nodi nel cluster dell'ambiente. Questo modifica il numero di worker Airflow.
Consente di regolare il numero di scheduler di Airflow. 		Scala automaticamente il numero di worker Airflow, in base alla domanda. Può impostare e modificare i limiti superiore e inferiore per il numero di worker.
Consente di regolare il numero di scheduler di Airflow.
Scalabilità verticale Puoi impostare i tipi di macchina per i nodi cluster, il server web e il database Airflow durante la creazione di un ambiente. Può modificare i tipi di macchina per il server web e il database Airflow. Può impostare e modificare la configurazione dei carichi di lavoro: CPU, memoria e parametri di archiviazione per i worker di Airflow, gli scheduler, il server web e il database.
Modello di determinazione del prezzo Modello di prezzi di Cloud Composer 1 Modello di prezzo di Cloud Composer 2
Controllo dell'accesso Ruoli di Cloud Composer Ruoli di Cloud Composer. Utilizza Workload Identity e richiede autorizzazioni aggiuntive per l'account Agente di servizio Cloud Composer.
Accesso tramite federazione delle identità della forza lavoro Funzionalità non supportata Supportato
Architettura dell'ambiente Architettura dell'ambiente Cloud Composer 1 Architettura dell'ambiente Cloud Composer 2
Networking IP privato Peering VPC Peering VPC o Private Service Connect
Supporto Terraform Può creare e aggiornare gli ambienti Cloud Composer 1. Può creare e aggiornare gli ambienti Cloud Composer 2.
CMEK Supportato Supportato
Controlli di accesso al server web Supportato Supportato
Riavvio del server web in corso... Supportato Supportato
Plug-in per server web Supportato negli ambienti Airflow 1 con serializzazione DAG disattivata. Supportato
Installazione di plug-in personalizzati Supportato Supportato
Operazioni di manutenzione Tutte le attività potrebbero essere interessate. Le attività che richiedono meno di 55 minuti all'esecuzione non sono interessate.
Caricamento di DAG asincrono Supportato in Airflow 1 Funzionalità non supportata
Serializzazione DAG Sempre attivata in Airflow 2. Disattivabile in Airflow 1. Sempre attivata in Airflow 2.
Supporto per i tag di rete Sì Sì
Nodi cluster con GPU Sì No
Archiviazione degli snapshot Supportato per le versioni Airflow 2.x e 1.10.15 Supportato
Caricamento snapshot in corso... Funzionalità non supportata Supportato
Snapshot pianificati Funzionalità non supportata Supportato

Immagini Cloud Composer

Per eseguire Apache Airflow, Cloud Composer crea immagini Docker che riuniscono le release di Airflow con altri programmi binari comuni e librerie Python.

Le immagini di Cloud Composer includono modifiche a Airflow specifiche per Cloud Composer e non adatte al codebase di Airflow a monte. I pacchetti preinstallati e le modifiche Airflow specifiche per Cloud Composer sono indicati collettivamente come versioni di Cloud Composer.

Google rilascia periodicamente nuove immagini di Cloud Composer che includono nuove release di Airflow e miglioramenti di Cloud Composer.

Supporto per le versioni di Cloud Composer 1

Le nuove versioni di Cloud Composer 1 verranno rilasciate fino alla fine di marzo 2023. Tutte le versioni di Cloud Composer 1 rilasciate seguono le norme sul ritiro delle versioni e sono supportate in base a tale versione.

Alcune nuove funzionalità di Cloud Composer potrebbero essere supportate solo in Cloud Composer 2. Puoi controllare quali funzionalità sono supportate solo in Cloud Composer 2 nella tabella che elenca le principali differenze tra le versioni.

Ritiro e assistenza per le versioni di Cloud Composer

Google supporta le versioni di Cloud Composer per un periodo di tempo successivo al rilascio della versione. Durante questo periodo, gli ambienti Cloud Composer che utilizzano queste versioni sono completamente supportati.

Il supporto della versione di Cloud Composer è definito come segue:

  • 0-12 mesi dalla data di rilascio: gli ambienti Cloud Composer che eseguono queste versioni sono completamente supportati.

  • 12-18 mesi dalla data di rilascio: gli ambienti Cloud Composer che eseguono queste versioni non sono supportati, tranne per la notifica ai clienti dei problemi di sicurezza.

  • Più di 18 mesi dalla data di rilascio: gli ambienti Cloud Composer che eseguono queste versioni non sono supportati e sono completamente gestiti dall'utente.

Supporto delle versioni di Airflow

Airflow segue lo schema di controllo delle versioni del software semantico. Ogni versione di Airflow ha una versione principale, secondaria e di patch.

Per un elenco delle versioni di Airflow supportate in ogni versione di Cloud Composer, consulta l'elenco delle versioni di Cloud Composer.

Supporto della versione di Airflow 2

  • In ogni release, Cloud Composer supporta due versioni secondarie di Airflow 2.

    Ad esempio, Cloud Composer 1.17.0 supporta Airflow 2.0.* e Airflow 2.1.*.

  • Per ogni versione secondaria di Airflow 2, Cloud Composer supporta una versione patch.

    Ad esempio, per Airflow 2.1.*, Cloud Composer supporta Airflow 2.1.2.

  • Quando in Cloud Composer è disponibile una nuova versione patch di Airflow 2, la release corrispondente ha due versioni patch di Airflow 2 disponibili per la stessa versione secondaria di Airflow. La versione precedente della patch viene quindi rimossa in una delle release successive.

    Ad esempio, Cloud Composer 1.17.4 supporta sia Airflow 2.1.2 sia Airflow 2.1.4.

  • Cloud Composer può saltare alcune versioni delle patch di Airflow tra le release di Cloud Composer. Inoltre, se si verificano problemi funzionali, di qualità o delle prestazioni con una versione patch specifica di Airflow, Cloud Composer può anche ignorare questa versione.

    Ad esempio, Airflow 2.1.3 è ignorato e Airflow 2.1.4 è disponibile.

  • Una release di Cloud Composer che esegue una versione stabile di Airflow può includere aggiornamenti di Airflow sottoposti a backport da una versione successiva di Airflow.

Schema della versione di Cloud Composer

Lo schema di controllo delle versioni delle immagini di Cloud Composer acquisisce le versioni di Cloud Composer e Airflow:

composer-a.b.c-airflow-x.y.z

Dove

  • composer-a.b.c è la versione delle personalizzazioni gestite da Cloud Composer
  • airflow-x.y.z è la release Airflow

Alias versione

Cloud Composer 2 supporta i seguenti alias versione:

Alias Versione di Cloud Composer Versione Airflow
composer-2-airflow-2 Versione più recente di Cloud Composer 2 Versione più recente di Airflow 2
composer-2-airflow-x.y Versione più recente di Cloud Composer 2 Ultima versione di Airflow nelle versioni x.y principali e secondarie
composer-2-airflow-x.y.z Versione più recente di Cloud Composer 2 Versione specificata di Airflow
composer-2.b.c-airflow-x.y Versione specificata di Cloud Composer 2 Ultima versione di Airflow disponibile in x.y versioni principali e secondarie

Cloud Composer 1 supporta i seguenti alias versione:

Alias Versione di Cloud Composer Versione Airflow
composer-1-airflow-2 Versione più recente di Cloud Composer 1 Versione più recente di Airflow 2
composer-1-airflow-1 Versione più recente di Cloud Composer 1 Versione più recente di Airflow 1
composer-1-airflow-x.y Versione più recente di Cloud Composer 1 Ultima versione di Airflow nelle versioni x.y principali e secondarie
composer-1-airflow-x.y.z Versione più recente di Cloud Composer 1 Versione specificata di Airflow
composer-1.b.c-airflow-x.y Versione specificata di Cloud Composer 1 La versione più recente di Airflow disponibile all'interno di x.y versioni principali e secondarie.

I seguenti alias versione rimandano a Cloud Composer 2. Puoi continuare a utilizzarli, ma ti consigliamo di passare agli alias per la tua versione di Cloud Composer.

  • composer-latest-airflow-x.y equivale a composer-2-airflow-x.y.
  • composer-latest-airflow-x.y.z equivale a composer-2-airflow-x.y.z.

Argomenti versione su Google Cloud CLI

Quando crei o esegui l'upgrade di un ambiente Cloud Composer utilizzando Google Cloud CLI, puoi specificare le versioni di Cloud Composer e Airflow:

  • L'argomento --image-version specifica le versioni di Cloud Composer e di Airflow:

    • Il formato composer-a.b.c-airflow-x.y.z crea un ambiente con le versioni specificate di Cloud Composer e Airflow.
    • Gli alias versione vengono inizialmente risolti nel formato composer-a.b.c-airflow-x.y.z, quindi creano un ambiente con le versioni specificate di Cloud Composer e Airflow.

  • --airflow-version specifica la versione di Airflow in due formati:

    • Il formato x.y.z si riferisce all'ultima versione di Cloud Composer 2 e alla versione specificata di Airflow. Questo formato è uguale all'alias di versione composer-2-airflow-x.y.z.

    • Il formato x.y si riferisce all'ultima versione di Cloud Composer 2 e all'ultima versione di Airflow disponibile nelle versioni x.y principali e secondarie. Questo formato è uguale all'alias di versione di composer-2-airflow-x.y.

Passaggi successivi