Panoramica del controllo delle versioni di Cloud Composer

Anteprima - Cloud Composer 3

Questa funzionalità è soggetta ai "Termini delle Offerte pre-GA" nella sezione Termini generali del servizio dei Termini specifici dei servizi. Le funzionalità pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per saperne di più, consulta le descrizioni della fase di lancio.

Questa pagina descrive il controllo delle versioni di Cloud Composer e elenca le differenze tra le principali versioni di Cloud Composer.

Versioni principali di Cloud Composer

Cloud Composer include le seguenti versioni principali:

• Cloud Composer 1. Offre la scalabilità manuale dell'ambiente, il deployment nei tuoi progetti e nelle tue reti.
• Cloud Composer 2. In questa versione, il cluster dell'ambiente viene scalato automaticamente per soddisfare le richieste di risorse.
• Cloud Composer3. Questa versione semplifica la configurazione di rete e nasconde i componenti dell'infrastruttura, tra cui il cluster dell'ambiente e le dipendenze dell'ambiente da altri servizi.

Importante: il 25 marzo 2024, Cloud Composer 1 ha registrato il suo modalità post-manutenzione. Google non rilascerà ulteriori aggiornamenti di Cloud Composer 1, incluse nuove versioni di Airflow, correzioni di bug e aggiornamenti della sicurezza. Consigliamo la migrazione a Cloud Composer 2.

Confronto delle versioni di Cloud Composer

La tabella seguente elenca le principali differenze Cloud Composer 1, Cloud Composer 2 e Cloud Composer 3.

Funzionalità	Cloud Composer 1	Cloud Composer 2	Cloud Composer 3
Versione immagine	composer-1.b.c-airflow-x.y.z	composer-2.b.c-airflow-x.y.z	composer-3-airflow-x.y.z-build.t
Versioni Airflow	Airflow 1.10.* e Airflow 2	Flusso d'aria 2	Airflow 2
Versioni di Python	3.8.12	3.11.5 e 3.8.12 nelle versioni precedenti	3.11.5
Cluster dell'ambiente	Cluster Google Kubernetes Engine in modalità standard nativo di VPC o basato su route	Cluster Google Kubernetes Engine nativo VPC in modalità Autopilot	Non è stato eseguito il deployment del cluster dell'ambiente nel progetto.
Scalabilità orizzontale	Può modificare il numero di nodi nel cluster dell'ambiente. In questo modo, cambia il numero di worker Airflow. Può regolare il numero di scheduler Airflow.	Scalabilità automatica del numero di worker Airflow in base alla domanda. Consente di impostare e modificare i limiti superiore e inferiore per il numero di worker. Può regolare il numero di scheduler e triggerer di Airflow	Scalabilità automatica del numero di worker Airflow in base alla domanda. Consente di impostare e modificare i limiti superiore e inferiore per il numero di worker. Può regolare il numero di scheduler, triggerer e processori DAG di Airflow
Scalatura verticale	Può impostare i tipi di macchine per i nodi del cluster, il server web Airflow e il database durante la creazione di un ambiente. Può modificare i tipi di macchine per il server web e il database Airflow.	Può impostare e modificare la configurazione dei carichi di lavoro: CPU, memoria e parametri di archiviazione per worker, scheduler, server web e dimensioni dell'ambiente Airflow.	Può impostare e modificare la configurazione dei carichi di lavoro: CPU, memoria e parametri di archiviazione per worker, scheduler, server web, processori DAG e le dimensioni dell'ambiente di Airflow.
Modello di determinazione del prezzo	Modello di prezzo di Cloud Composer 1	Modello di prezzo di Cloud Composer 2	Modello di prezzi di Cloud Composer 3
Controllo degli accessi	Ruoli di Cloud Composer 1	Ruoli Cloud Composer. Utilizza la federazione delle identità per i carichi di lavoro per GKE e richiede autorizzazioni aggiuntive per l'account agente di servizio Cloud Composer.	Ruoli Cloud Composer. Utilizza la federazione delle identità per i carichi di lavoro per GKE. Non sono richieste autorizzazioni aggiuntive
Accesso tramite federazione delle identità per la forza lavoro	Non supportata	Supportato	Supportato
Ambienti altamente resilienti	Non supportata	Supportato	Non disponibile in Anteprima pubblica
Networking con IP privato	Peering VPC	Private Service Connect	Configurazione di rete semplificata. Può essere modificato tra IP pubblico e privato in un ambiente esistente.
Controlli di servizio VPC	Supportato	Supportato	Non disponibile in Anteprima pubblica
Esecutori Airflow	Esecutore Celery	Esecutore Celery	CeleryKubernetes Executor
Attivatore Airflow (operatori differibili)	Non supportata	Supportato	Supportato
CMEK	Supportato	Supportato	Non disponibile in Anteprima pubblica
Controlli di accesso al server web	Supportato	Supportato	Supportato
Riavvio del server web in corso...	Supportato	Supportato	Supportato
Plug-in per server web	Supportato negli ambienti Airflow 1 con serializzazione DAG disabilitata.	Supportato	Supportati, i plug-in possono essere disattivati e abilitati on demand.
Installazione di plug-in personalizzati	Supportato	Supportato	Supportato
Operazioni di manutenzione	Tutte le attività possono essere interessate.	Le attività che richiedono meno di 55 minuti per l'esecuzione non sono interessate.	Le attività che richiedono meno di 55 minuti per l'esecuzione non sono interessate.
Archiviazione di snapshot	Supportato per le versioni Airflow 2.x e 1.10.15	Supportato	Supportato
Caricamento di snapshot	Non supportata	Supportato	Supportato
Snapshot pianificati	Non supportata	Supportato	Non disponibile in Anteprima pubblica
Bucket dell'ambiente personalizzato	Non supportata	Supportato	Supportato
Salvare i log delle attività Airflow solo in Cloud Logging	Non supportata	Supportato	Supportato
Integrazione della derivazione dei dati	Non supportata	Supportato	Supportato

Immagini di Cloud Composer

Per eseguire Apache Airflow, Cloud Composer crea immagini Docker che raggruppano le release di Airflow con altri programmi binari comuni e Python librerie.

Le immagini Cloud Composer includono le modifiche Airflow che specifico di Cloud Composer e non adatto per Airflow upstream codebase. Ogni immagine di Cloud Composer contiene pacchetti preinstallati insieme a modifiche di Airflow specifiche per Cloud Composer.

Google rilascia periodicamente nuove immagini di Cloud Composer:

• In Cloud Composer 3, le immagini includono nuove build delle versioni di Airflow supportate. Puoi selezionare una versione di Airflow e una build da utilizzare. Il tuo ambiente riceve miglioramenti di Cloud Composer automaticamente.

• In Cloud Composer 2 e Cloud Composer 1, le immagini includono miglioramenti di Cloud Composer e nuove build delle versioni di Airflow supportate. Per usufruire dei miglioramenti di Cloud Composer, esegui l'upgrade del tuo ambiente a una versione successiva di Cloud Composer.

Ritiro e supporto delle versioni

Composer 3

Google supporta una versione di Airflow per un periodo di tempo successivo all'impostazione release:

• Se la versione minore di Airflow è la più recente disponibile in Cloud Composer 3, tutte le build di Airflow con questa versione minore sono completamente supportate. La data esatta di fine del supporto viene determinata quando una nuova versione minore di Airflow diventa disponibile in Cloud Composer 3.

• Quando una nuova versione minore di Airflow diventa disponibile in Cloud Composer 3, tutte le build con la versione minore di Airflow precedente sono supportate per 12 mesi, a partire da quella data. Se sono presenti più build che contengono la stessa versione minore di Airflow, tutte hanno la stessa data di fine del supporto completo.

• Quando una versione secondaria non è più completamente supportata, anche gli ambienti che la eseguono non sono supportati e sono interamente gestiti dall'utente. Puoi ancora eseguire l'upgrade di un ambiente di questo tipo a una versione di Airflow completamente supportata.

Puoi creare ambienti con tutte le build di Airflow completamente supportate.

Puoi comunque utilizzare un ambiente con una build Airflow non più supportata. L'ambiente continua a funzionare, puoi continuare a utilizzarlo ed eseguire l'upgrade a una versione completamente supportata.

Importante: in alcuni casi, viene eseguito un upgrade a una versione o build di Airflow successiva l'unica soluzione disponibile per una vulnerabilità di sicurezza.

Composer 2

Google supporta le versioni di Cloud Composer 2 per un periodo di tempo dopo il rilascio della versione. Durante questo periodo, Cloud Composer 2 ambienti che utilizzano queste versioni sono completamente supportati.

Il supporto della versione di Cloud Composer 2 è definito come segue:

• 0-12 mesi dalla data di rilascio: gli ambienti Cloud Composer 2 che eseguono queste versioni sono completamente supportati.

• Più di 12 mesi dalla data di rilascio: Cloud Composer 2 ambienti che eseguono queste versioni non sono supportati.

  Importante: in alcuni casi, un upgrade a una versione più recente Le versioni Cloud Composer e Airflow sono le uniche disponibili una soluzione per una vulnerabilità di sicurezza.

Puoi utilizzare le versioni di Cloud Composer dopo la data in cui non sono più supportate. Ad esempio, se il tuo ambiente si basa su una versione di Cloud Composer che ha superato il periodo di assistenza, l'ambiente continuerà a funzionare e potrai continuare a utilizzarlo. In questo caso, consigliamo di eseguire l'upgrade del tuo ambiente a una versione supportata.

Composer 1

Nuove versioni di Cloud Composer 1 sono state rilasciate fino alla fine di marzo 2023. Tutte le versioni rilasciate di Cloud Composer 1 seguono gli stessi criteri di ritiro della versione di Cloud Composer 2 e sono supportati in base ai dati.

Il 25 marzo 2024, Cloud Composer 1 è entrato in modalità post-manutenzione. Google non rilascerà ulteriori aggiornamenti per Cloud Composer 1, incluse nuove versioni di Airflow, correzioni di bug e aggiornamenti della sicurezza. Ti consigliamo di eseguire la migrazione a Cloud Composer 2.

Supporto della versione di Airflow

Airflow segue Lo schema di controllo delle versioni del software semantico. Ogni versione di Airflow ha una versione principale, secondaria e patch.

Composer 3

In Cloud Composer 3, nuove versioni e build di Airflow diventano disponibili nel tempo.

Il tuo ambiente può funzionare con tutte le versioni e build di Airflow precedenti, e riceve automaticamente gli aggiornamenti dei componenti dell'infrastruttura. Ciascuna e la build sono supportate come descritto in Ritiro e assistenza delle versioni e tu puoi scegliere di eseguire l'upgrade della tua versione Airflow a una versione o una build successiva.

Composer 2

Per un elenco delle versioni di Airflow supportate in ogni versione di Cloud Composer, consulta l'elenco delle versioni di Cloud Composer.

• In ogni release, Cloud Composer 2 supporta due versioni secondarie di Airflow 2.

  Ad esempio, Cloud Composer 2.4.0 supporta Airflow 2.4.* e Airflow 2.5.*.

• Per ogni versione secondaria di Airflow 2, Cloud Composer supporta una versione patch.

  Ad esempio, per Airflow 2.4.*, Cloud Composer supporta Airflow 2.4.3.

• Quando una nuova versione patch di Airflow 2 diventa disponibile in Cloud Composer, la release corrispondente ha due versioni patch di Airflow 2 disponibili per la stessa versione secondaria di Airflow. La versione precedente della patch viene poi rimossa in una delle nuove versioni.

  Ad esempio, Cloud Composer 2.3.4 supporta sia Airflow 2.5.1 che Airflow 2.5.3.

• Cloud Composer può saltare alcune versioni delle patch di Airflow tra le release di Cloud Composer. Inoltre, se si verificano problemi di funzionalità, qualità o prestazioni con una versione specifica della patch di Airflow, Cloud Composer può anche saltare questa versione.

  Ad esempio, Airflow 2.1.3 è ignorato e Airflow 2.1.4 è disponibile.

• Una release di Cloud Composer che esegue una versione stabile di Airflow può includere aggiornamenti di Airflow sottoposti a backport da una versione successiva di Airflow.

Composer 1

La versione più recente di Airflow supportata in Cloud Composer 1 è Airflow 2.4.3.

Solo Cloud Composer 1 supporta Airflow 1.10.15, l'ultimo rilasciato di Airflow 1.

Schema della versione di Cloud Composer

Composer 3

Lo schema di controllo delle versioni di Cloud Composer 3 acquisisce le versioni e le build di Airflow:

composer-3-airflow-x.y.z-build.t

Dove:

• composer-3 è la versione di Cloud Composer.
• airflow-x.y.z.build.t è la versione e la build di Airflow. Ogni release successiva della stessa versione di Airflow in Cloud Composer 3 ha un con un numero di build più elevato. Il numero di build è definito da Cloud Composer e non dal progetto open source Airflow.

Composer 2

Lo schema di controllo delle versioni delle immagini di Cloud Composer 2 acquisisce Cloud Composer e Airflow:

composer-2.b.c-airflow-x.y.z

Dove:

• composer-2.b.c è la versione gestita da Cloud Composer personalizzazioni
• airflow-x.y.z è la release Airflow

Composer 1

Lo schema di controllo delle versioni delle immagini di Cloud Composer 1 acquisisce Cloud Composer e Airflow:

composer-1.b.c-airflow-x.y.z

Dove:

• composer-1.b.c è la versione gestita da Cloud Composer personalizzazioni
• airflow-x.y.z è la release di Airflow

Alias versione

Gli alias di versione funzionano nel seguente modo:

• Cloud Composer risolve l'alias di versione al formato completo quando crea il tuo ambiente:

  • Tutti gli alias di versione diventano composer-3-airflow-x.y.z-build.t in Cloud Composer 3.
  • Tutti gli alias di versione diventano composer-a.b.c-airflow-x.y.z in Cloud Composer 2 e Cloud Composer 1.

• In Cloud Composer 3, utilizzando un alias di versione, come composer-3-airflow-x.y non esegue automaticamente l'upgrade della versione e della build di Airflow del tuo completamente gestito di Google Cloud. L'ambiente rimane nella stessa versione e nella stessa compilazione di Airflow finché non esegui l'upgrade. L'ambiente riceve comunque gli upgrade automatici dell'infrastruttura, come di consueto.

• In Cloud Composer 2 e Cloud Composer 1, l'utilizzo di un alias di versione, ad esempio composer-a-airflow-x.y.z, non fornisce upgrade automatici per un ambiente. L'ambiente rimane nella stessa versione di Cloud Composer e Airflow finché non esegui l'upgrade.

Alias delle versioni di Cloud Composer 3

Cloud Composer 3 supporta i seguenti alias di versione:

Alias	Versione Airflow
composer-3-airflow-2	Versione e build più recenti di Airflow 2
composer-3-airflow-x.y	Versione e build più recenti di Airflow in x.y versioni principali e secondarie
composer-3-airflow-x.y.z	Ultima build della versione specificata di Airflow

Alias versione di Cloud Composer 2

Cloud Composer 2 supporta i seguenti alias di versione:

Alias	Versione Cloud Composer	Versione Airflow
composer-2-airflow-2	Ultima versione di Cloud Composer 2	Ultima versione di Airflow 2
composer-2-airflow-x.y	Ultima versione di Cloud Composer 2	Ultima versione di Airflow all'interno di x.y versione principale e secondaria
composer-2-airflow-x.y.z	Ultima versione di Cloud Composer 2	Versione specificata di Airflow
composer-2.b.c-airflow-x.y	Versione specificata di Cloud Composer 2	Ultima versione di Airflow disponibile in x.y versione principale e secondaria

Alias delle versioni di Cloud Composer 1

Cloud Composer 1 supporta i seguenti alias di versione:

Alias	Versione Cloud Composer	Versione Airflow
composer-1-airflow-2	Ultima versione di Cloud Composer 1	Ultima versione di Airflow 2
composer-1-airflow-1	Ultima versione di Cloud Composer 1	Ultima versione di Airflow 1
composer-1-airflow-x.y	Ultima versione di Cloud Composer 1	Ultima versione di Airflow all'interno di x.y versione principale e secondaria
composer-1-airflow-x.y.z	Ultima versione di Cloud Composer 1	Versione specificata di Airflow
composer-1.b.c-airflow-x.y	Versione specificata di Cloud Composer 1	Ultima versione di Airflow disponibile in x.y versione principale e secondaria.

I seguenti alias di versione puntano a Cloud Composer 2. Puoi comunque utilizzarli, ma ti consigliamo di passare agli alias per la tua versione di Cloud Composer.

• composer-latest-airflow-x.y è uguale a composer-2-airflow-x.y.
• composer-latest-airflow-x.y.z è uguale a composer-2-airflow-x.y.z.

Argomenti della versione in Google Cloud CLI

Quando crei o esegui l'upgrade in un ambiente Cloud Composer utilizzando Google Cloud CLI, puoi specifica le versioni di Cloud Composer e Airflow:

Composer 3

• L'argomento --image-version specifica la versione e la build di Airflow nel formato composer-3-airflow-x.y.z-build.t. Puoi utilizzare alias di versione, che vengono risolti da Google Cloud CLI nel formato completo.

• --airflow-version specifica la versione Airflow nei seguenti formati:

  • Il formato x.y.z è per l'ultima build della versione specificata di Airflow. Questo formato è uguale a composer-3-airflow-x.y.z l'alias di versione.

  • Il formato x.y è per l'ultima build di Airflow disponibile in x.y versioni principali e secondarie. Questo formato è uguale al Alias versione composer-3-airflow-x.y.

  • x.y.z-build.t è la versione e la build di Airflow specificate. Questo formato è uguale a composer-3-airflow-x.y.z-build.t.

Composer 2

• L'argomento --image-version specifica le versioni di Cloud Composer 2 e Airflow:

  • Il formato composer-a.b.c-airflow-x.y.z crea un ambiente con le versioni specificate di Cloud Composer e Airflow.
  • Gli alias di versione vengono prima risolti nel formato composer-a.b.c-airflow-x.y.z e poi viene creato un ambiente con le versioni specificate di Cloud Composer 2 e Airflow.

• --airflow-version specifica la versione di Airflow nei seguenti formati:

  • Il formato x.y.z è destinato all'ultima versione di Cloud Composer 2 e alla versione specificata di Airflow. Questo formato è uguale all'alias della versione composer-2-airflow-x.y.z.

  • Il formato x.y è destinato alla versione più recente di Cloud Composer 2 e alla versione più recente di Airflow disponibile nelle versioni principali e secondarie di x.y. Questo formato è uguale a composer-2-airflow-x.y l'alias di versione.

Composer 1

• L'argomento --image-version specifica Cloud Composer 1 e Airflow versioni:

  • Il formato composer-a.b.c-airflow-x.y.z crea un ambiente con specifiche di Cloud Composer e Airflow.
  • Gli alias di versione vengono prima risolti nel formato composer-a.b.c-airflow-x.y.z e poi viene creato un ambiente con le versioni specificate di Cloud Composer 1 e Airflow.

• --airflow-version specifica la versione Airflow nei seguenti formati:

  • Il formato x.y.z è destinato all'ultima versione di Cloud Composer 1 e alla versione specificata di Airflow. Questo formato è uguale all'alias della versione composer-1-airflow-x.y.z.

  • Il formato x.y è per la versione più recente di Cloud Composer 1 e l'ultima versione di Airflow disponibile x.y versioni principali e secondarie. Questo formato è uguale al Alias versione composer-1-airflow-x.y.

Passaggi successivi

• Immagini di Cloud Composer
• Crea un ambiente
• Eseguire l'upgrade di un ambiente Cloud Composer esistente