Questa pagina descrive il controllo delle versioni di Cloud Composer ed elenca le differenze tra le principali versioni di Cloud Composer.
Versioni principali di Cloud Composer
Cloud Composer ha tre versioni principali:
- Cloud Composer 1. La scalabilità manuale dell'ambiente è il deployment dell'infrastruttura nei progetti e nelle reti.
Cloud Composer 2. In questa versione, il cluster dell'ambiente scala automaticamente per soddisfare la domanda di risorse.
Confronto tra le versioni di Cloud Composer
La seguente tabella elenca le principali differenze tra Cloud Composer 1 e Cloud Composer 2.
Selezione delle | Cloud Composer 1 | Cloud Composer 2 |
---|---|---|
Versione immagine | composer-1.b.c-airflow-x.y.z |
composer-2.b.c-airflow-x.y.z |
Versioni Airflow | Airflow 1.10.* e Airflow 2 | Airflow 2 |
Versioni Python | 3.8.12 | 3.11.5 e 3.8.12 nelle versioni precedenti |
Cluster dell'ambiente | Cluster di Google Kubernetes Engine nativo della modalità VPC o basato su route | Cluster di Google Kubernetes Engine nativo VPC in modalità Autopilot |
Scalabilità orizzontale | Può regolare il numero di nodi nel cluster dell'ambiente. Questo modifica il numero di worker di Airflow. Può regolare il numero di scheduler Airflow. |
Scalabilità automatica del numero di worker di Airflow in base alla domanda. Consente di impostare e modificare i limiti superiore e inferiore per il numero di worker. Può regolare il numero di scheduler e triggerer Airflow |
Scala verticale | Può impostare tipi di macchina per i nodi del cluster, il server web e il database Airflow durante la creazione di un ambiente. Può modificare i tipi di macchina per il server web e il database Airflow. | Può impostare e modificare la configurazione dei carichi di lavoro: parametri di CPU, memoria e archiviazione per worker, scheduler, server web e dimensioni dell'ambiente Airflow. |
Modello di determinazione del prezzo | Modello di prezzi di Cloud Composer 1 | Modello di prezzi di Cloud Composer 2 |
Controllo dell'accesso | Ruoli di Cloud Composer 1 | Ruoli di Cloud Composer. Utilizza Workload Identity e richiede autorizzazioni aggiuntive per l'account dell'agente di servizio di Cloud Composer. |
Accesso tramite federazione delle identità per la forza lavoro | Funzionalità non supportata | Supportato |
Ambienti a elevata resilienza | Funzionalità non supportata | Supportato |
Networking IP privato | Peering VPC | Private Service Connect |
Controlli di servizio VPC | Supportato | Supportato |
Esecutori Airflow | Esecutore sedano | Esecutore sedano |
Triggerer Airflow (operatori differiti) | Funzionalità non supportata | Supportato |
CMEK | Supportato | Supportato |
Controlli di accesso al server web | Supportato | Supportato |
Riavvio del server web | Supportato | Supportato |
Plug-in per server web | Supportato negli ambienti Airflow 1 con serializzazione DAG disabilitata. | Supportato |
Installazione di plug-in personalizzati | Supportato | Supportato |
Operazioni di manutenzione | Tutte le attività possono essere interessate. | Le attività la cui esecuzione richiede meno di 55 minuti non sono interessate. |
Archiviazione degli snapshot | Supportata per le versioni Airflow 2.x e 1.10.15 | Supportato |
Caricamento degli snapshot in corso... | Funzionalità non supportata | Supportato |
Snapshot pianificati | Funzionalità non supportata | Supportato |
Bucket dell'ambiente personalizzato | Funzionalità non supportata | Supportato |
Salvataggio dei log delle attività Airflow solo in Cloud Logging | Funzionalità non supportata | Supportato |
Integrazione della derivazione dei dati | Funzionalità non supportata | Supportato |
Immagini di Cloud Composer
Per eseguire Apache Airflow, Cloud Composer crea immagini Docker che raggruppano le release di Airflow con altri file binari comuni e librerie Python.
Le immagini di Cloud Composer includono modifiche di Airflow specifiche di Cloud Composer e non adatte per il codebase di Airflow upstream. Ogni immagine di Cloud Composer contiene pacchetti preinstallati, oltre a modifiche a Airflow specifiche di Cloud Composer.
Google rilascia periodicamente nuove immagini di Cloud Composer:
- In Cloud Composer 2 e Cloud Composer 1, le immagini includono miglioramenti di Cloud Composer e nuove build di versioni di Airflow supportate. Per ottenere miglioramenti di Cloud Composer, esegui l'upgrade del tuo ambiente a una versione successiva di Cloud Composer.
Ritiro e supporto della versione
Composer 2
Google supporta le versioni di Cloud Composer 2 per un determinato periodo di tempo dopo il rilascio della versione. Durante questo periodo, gli ambienti Cloud Composer 2 che utilizzano queste versioni sono completamente supportati.
Il supporto della versione 2 di Cloud Composer è il seguente:
0-12 mesi dalla data di rilascio: gli ambienti di Cloud Composer 2 che eseguono queste versioni sono completamente supportati.
12-18 mesi dalla data di rilascio: gli ambienti di Cloud Composer 2 che eseguono queste versioni non sono supportati, se non per informare i clienti in merito a problemi di sicurezza.
Più di 18 mesi dalla data di rilascio: gli ambienti Cloud Composer 2 che eseguono queste versioni non sono supportati e sono interamente gestiti dall'utente.
Puoi utilizzare le versioni di Cloud Composer dopo la data in cui non sono più supportate. Ad esempio, se il tuo ambiente è basato su una versione di Cloud Composer che ha superato il periodo di assistenza, l'ambiente continua a funzionare e puoi continuare a utilizzarlo. In questo caso, ti consigliamo di eseguire l'upgrade del tuo ambiente a una versione supportata.
Composer 1
Le nuove versioni di Cloud Composer 1 sono state rilasciate fino alla fine di marzo 2023. Tutte le versioni di Cloud Composer 1 rilasciate seguono le stesse norme sul ritiro delle versioni di Cloud Composer 2 e sono supportate in base a questo criterio.
Il 25 marzo 2024, Cloud Composer 1 è entrato nella modalità post-manutenzione. Google non rilascerà ulteriori aggiornamenti a Cloud Composer 1, incluse nuove versioni di Airflow, correzioni di bug e aggiornamenti della sicurezza. Ti consigliamo la migrazione a Cloud Composer 2.
Supporto delle versioni di Airflow
Airflow segue lo schema di controllo delle versioni del software semantico. Ogni versione di Airflow ha una versione principale, secondaria e una patch.
Composer 2
Per un elenco delle versioni di Airflow supportate in ogni versione di Cloud Composer, consulta l'elenco delle versioni di Cloud Composer.
In ogni release, Cloud Composer 2 supporta due versioni secondarie di Airflow 2.
Ad esempio, Cloud Composer 2.4.0 supporta Airflow 2.4.* e Airflow 2.5.*.
Per ogni versione secondaria di Airflow 2, Cloud Composer supporta una versione patch.
Ad esempio, per Airflow 2.4.*, Cloud Composer supporta Airflow 2.4.3,
Quando una nuova versione patch di Airflow 2 diventa disponibile in Cloud Composer, la release corrispondente ha due versioni patch di Airflow 2 disponibili per la stessa versione secondaria di Airflow. La versione precedente della patch viene quindi rimossa in una delle release successive.
Ad esempio, Cloud Composer 2.3.4 supporta sia Airflow 2.5.1 sia Airflow 2.5.3.
Cloud Composer può saltare alcune versioni delle patch di Airflow tra le versioni di Cloud Composer. Inoltre, se si verificano problemi di funzionamento, qualità o prestazioni con una versione patch specifica di Airflow, anche Cloud Composer può saltare questa versione.
Ad esempio, Airflow 2.1.3 viene ignorato e Airflow 2.1.4 è disponibile.
Una release di Cloud Composer che esegue una versione stabile di Airflow può includere aggiornamenti di Airflow di cui viene eseguito il backporting da una versione successiva di Airflow.
Composer 1
L'ultima versione di Airflow supportata in Cloud Composer 1 è Airflow 2.4.3.
Solo Cloud Composer 1 supporta Airflow 1.10.15, che è l'ultima versione rilasciata di Airflow 1.
Schema della versione di Cloud Composer
Composer 2
Lo schema di controllo delle versioni delle immagini di Cloud Composer 2 acquisisce le versioni di Cloud Composer e Airflow:
composer-2.b.c-airflow-x.y.z
Dove:
composer-2.b.c
è la versione delle personalizzazioni gestite da Cloud Composerairflow-x.y.z
è la release Airflow
Composer 1
Lo schema di controllo delle versioni delle immagini di Cloud Composer 1 acquisisce le versioni di Cloud Composer e Airflow:
composer-1.b.c-airflow-x.y.z
Dove:
composer-1.b.c
è la versione delle personalizzazioni gestite da Cloud Composerairflow-x.y.z
è la release Airflow
Alias versione
Gli alias di versione funzionano nel seguente modo:
- Cloud Composer risolve l'alias di versione nel formato completo quando crea il tuo ambiente:
-
Tutti gli alias di versione diventano
composer-a.b.c-airflow-x.y.z
in Cloud Composer 2 e Cloud Composer 1. -
In Cloud Composer 2 e Cloud Composer 1, l'utilizzo di un alias di versione come
composer-a-airflow-x.y.z
non fornisce upgrade automatici per un ambiente. L'ambiente rimane sulla stessa versione di Cloud Composer e Airflow finché non esegui l'upgrade.
Cloud Composer 2 supporta i seguenti alias di versione:
Alias | Versione di Cloud Composer | Versione Airflow |
---|---|---|
composer-2-airflow-2 |
La versione più recente di Cloud Composer 2 | Ultima versione di Airflow 2 |
composer-2-airflow-x.y |
La versione più recente di Cloud Composer 2 | La versione più recente di Airflow all'interno di x.y versioni principali e secondarie |
composer-2-airflow-x.y.z |
La versione più recente di Cloud Composer 2 | Versione specificata di Airflow |
composer-2.b.c-airflow-x.y |
Versione specificata di Cloud Composer 2 | La versione più recente di Airflow disponibile all'interno di x.y versioni principali e secondarie |
Cloud Composer 1 supporta i seguenti alias di versione:
Alias | Versione di Cloud Composer | Versione Airflow |
---|---|---|
composer-1-airflow-2 |
La versione più recente di Cloud Composer 1 | Ultima versione di Airflow 2 |
composer-1-airflow-1 |
La versione più recente di Cloud Composer 1 | Ultima versione di Airflow 1 |
composer-1-airflow-x.y |
La versione più recente di Cloud Composer 1 | La versione più recente di Airflow all'interno di x.y versioni principali e secondarie |
composer-1-airflow-x.y.z |
La versione più recente di Cloud Composer 1 | Versione specificata di Airflow |
composer-1.b.c-airflow-x.y |
Versione specificata di Cloud Composer 1 | La versione più recente di Airflow disponibile all'interno di x.y versioni principali e secondarie. |
I seguenti alias di versione puntano a Cloud Composer 2. Puoi continuare a utilizzarli, ma valuta la possibilità di passare agli alias per la tua versione di Cloud Composer.
composer-latest-airflow-x.y
è uguale acomposer-2-airflow-x.y
.composer-latest-airflow-x.y.z
è uguale acomposer-2-airflow-x.y.z
.
Argomenti della versione in Google Cloud CLI
Quando crei o esegui l'upgrade di un ambiente Cloud Composer utilizzando Google Cloud CLI, puoi specificare le versioni di Cloud Composer e Airflow:
Composer 2
L'argomento
--image-version
specifica le versioni di Cloud Composer 2 e Airflow:- Il formato
composer-a.b.c-airflow-x.y.z
crea un ambiente con le versioni specificate di Cloud Composer e Airflow. - Gli alias di versione vengono prima risolti nel
formato
composer-a.b.c-airflow-x.y.z
, quindi creano un ambiente con le versioni specificate di Cloud Composer 2 e Airflow.
- Il formato
--airflow-version
specifica la versione di Airflow nei seguenti formati:Il formato
x.y.z
è relativo all'ultima versione di Cloud Composer 2 e alla versione specificata di Airflow. Questo formato è uguale all'alias della versionecomposer-2-airflow-x.y.z
.Il formato
x.y
è per la versione più recente di Cloud Composer 2 e la versione più recente di Airflow disponibile all'interno dix.y
versione principale e secondaria. Questo formato è uguale all'alias della versione dicomposer-2-airflow-x.y
.
Composer 1
L'argomento
--image-version
specifica le versioni di Cloud Composer 1 e Airflow:- Il formato
composer-a.b.c-airflow-x.y.z
crea un ambiente con le versioni specificate di Cloud Composer e Airflow. - Gli alias di versione vengono prima risolti nel
formato
composer-a.b.c-airflow-x.y.z
e poi creano un ambiente con le versioni specificate di Cloud Composer 1 e Airflow.
- Il formato
--airflow-version
specifica la versione di Airflow nei seguenti formati:Il formato
x.y.z
è per la versione più recente di Cloud Composer 1 e per la versione specificata di Airflow. Questo formato è uguale all'alias della versionecomposer-1-airflow-x.y.z
.Il formato
x.y
è per la versione più recente di Cloud Composer 1 e la versione più recente di Airflow disponibile all'interno dix.y
versioni principali e secondarie. Questo formato è uguale all'alias di versione dicomposer-1-airflow-x.y
.