Questa pagina descrive il controllo delle versioni di Cloud Composer ed elenca le differenze tra le versioni principali di Cloud Composer.
Versioni principali di Cloud Composer
Cloud Composer include le seguenti versioni principali:
- Cloud Composer1. Scalando manualmente l'ambiente, viene eseguito il deployment dell'infrastruttura nei progetti e nelle reti.
- Cloud Composer 2. In questa versione, il cluster dell'ambiente scala automaticamente per soddisfare le esigenze di risorse.
- Cloud Composer 3. Questa versione ha semplificato la configurazione della rete e nasconde i componenti dell'infrastruttura, tra cui il cluster dell'ambiente e le dipendenze dell'ambiente da altri servizi.
Confronto delle versioni di Cloud Composer
La tabella seguente elenca le principali differenze tra Cloud Composer 1, Cloud Composer 2 e Cloud Composer 3.
Selezione delle | Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3 |
---|---|---|---|
Versione immagine | composer-1.b.c-airflow-x.y.z |
composer-2.b.c-airflow-x.y.z |
composer-3-airflow-x.y.z-build.t |
Versioni Airflow | Airflow 1.10.* e Airflow 2 | Flusso d'aria 2 | Flusso d'aria 2 |
Versioni Python | 3.8.12 | 3.11.5 e 3.8.12 nelle versioni precedenti | 3.11.5 |
Cluster dell'ambiente | Cluster Google Kubernetes Engine in modalità standard nativo di VPC o basato su route | Cluster Google Kubernetes Engine nativo di VPC in modalità Autopilot | Non è stato eseguito il deployment del cluster dell'ambiente nel progetto. |
Scalabilità orizzontale | Può regolare il numero di nodi nel cluster dell'ambiente. Questo cambia il numero di worker Airflow. Può regolare il numero di scheduler Airflow. |
Scalabilità automatica del numero di worker Airflow in base alla domanda. Consente di impostare e modificare i limiti superiore e inferiore per il numero di worker. Può regolare il numero di scheduler e triggerer di Airflow |
Scalabilità automatica del numero di worker Airflow in base alla domanda. Consente di impostare e modificare i limiti superiore e inferiore per il numero di worker. Può regolare il numero di scheduler, triggerer e processori DAG di Airflow |
Scalabilità verticale | Può impostare tipi di macchina per i nodi del cluster, il server web Airflow e il database durante la creazione di un ambiente. Può modificare i tipi di macchina per il server web e il database di Airflow. | Può impostare e modificare la configurazione dei carichi di lavoro: CPU, memoria e parametri di archiviazione per worker, scheduler, server web e dimensioni dell'ambiente Airflow. | Può impostare e modificare la configurazione dei carichi di lavoro: CPU, memoria e parametri di archiviazione per worker, scheduler, server web, processori DAG e le dimensioni dell'ambiente di Airflow. |
Modello di determinazione del prezzo | Modello di prezzi di Cloud Composer 1 | Modello di prezzi di Cloud Composer 2 | Modello di prezzi di Cloud Composer 3 |
Controllo dell'accesso | Ruoli di Cloud Composer 1 | Ruoli di Cloud Composer. Utilizza Workload Identity e richiede autorizzazioni aggiuntive per l'account dell'agente di servizio di Cloud Composer. | i ruoli di Cloud Composer. Utilizza Workload Identity. Non sono necessarie autorizzazioni aggiuntive |
Accesso tramite federazione delle identità per la forza lavoro | Funzionalità non supportata | Supportato | Supportato |
Ambienti ad alta resilienza | Funzionalità non supportata | Supportato | Non disponibile in Anteprima pubblica |
Networking IP privato | Peering VPC | Private Service Connect | Configurazione della rete semplificata. Può essere modificato da IP pubblico a IP privato in un ambiente esistente. |
Controlli di servizio VPC | Supportato | Supportato | Non disponibile in Anteprima pubblica |
Esecutori Airflow | Esecutore Celery | Esecutore Celery | Esecutore Kubernetes Kubernetes |
Triggerer Airflow (operatori decriptabili) | Funzionalità non supportata | Supportato | Supportato |
CMEK | Supportato | Supportato | Non disponibile in Anteprima pubblica |
Controlli di accesso al server web | Supportato | Supportato | Supportato |
Riavvio del server web in corso... | Supportato | Supportato | Supportato |
Plug-in per server web | Supportato negli ambienti Airflow 1 con serializzazione DAG disabilitata. | Supportato | Supportati, i plug-in possono essere disattivati e abilitati on demand. |
Installazione di plug-in personalizzati | Supportato | Supportato | Supportato |
Operazioni di manutenzione | Tutte le attività possono essere interessate. | Le attività che richiedono meno di 55 minuti non sono interessate. | Le attività che richiedono meno di 55 minuti non sono interessate. |
Archiviazione di snapshot | Supportato per le versioni Airflow 2.x e 1.10.15 | Supportato | Supportato |
Caricamento degli snapshot | Funzionalità non supportata | Supportato | Supportato |
Snapshot pianificati | Funzionalità non supportata | Supportato | Non disponibile in Anteprima pubblica |
Bucket dell'ambiente personalizzato | Funzionalità non supportata | Supportato | Supportato |
Salvataggio dei log delle attività Airflow solo in Cloud Logging | Funzionalità non supportata | Supportato | Supportato |
Integrazione della derivazione dei dati | Funzionalità non supportata | Supportato | Supportato |
Immagini Cloud Composer
Per eseguire Apache Airflow, Cloud Composer crea immagini Docker che raggruppano le release di Airflow con altri programmi binari comuni e librerie Python.
Le immagini Cloud Composer includono modifiche Airflow specifiche di Cloud Composer e non adatte per il codebase Airflow a monte. Ogni immagine di Cloud Composer contiene pacchetti preinstallati, oltre alle modifiche di Airflow specifiche di Cloud Composer.
Google rilascia periodicamente nuove immagini di Cloud Composer:
In Cloud Composer 3, le immagini includono nuove build di versioni Airflow supportate. Puoi selezionare una versione di Airflow e una build che vuoi utilizzare. Il tuo ambiente riceve automaticamente i miglioramenti di Cloud Composer.
In Cloud Composer 2 e Cloud Composer 1, le immagini includono miglioramenti di Cloud Composer e nuove build di versioni di Airflow supportate. Per ottenere miglioramenti di Cloud Composer, esegui l'upgrade dell'ambiente a una versione successiva.
Ritiro delle versioni e assistenza
Composer 3
Google supporta una versione di Airflow per un periodo di tempo dopo la release iniziale:
Se la versione secondaria di Airflow è l'ultima disponibile in Cloud Composer 3, tutte le build di Airflow con questa versione secondaria sono completamente supportate. La data esatta di fine del supporto è determinata quando una nuova versione secondaria di Airflow diventa disponibile in Cloud Composer 3.
Quando una nuova versione secondaria di Airflow diventa disponibile in Cloud Composer 3, tutte le build con la versione secondaria di Airflow precedente sono supportate per 12 mesi, a partire da quella data. Se esistono più build che contengono la stessa versione secondaria di Airflow, tutte hanno la stessa data di fine del supporto completo.
Quando una versione secondaria non è più completamente supportata, anche gli ambienti che eseguono questa versione non saranno più supportati e saranno interamente gestiti dall'utente. Puoi comunque eseguire l'upgrade di un ambiente di questo tipo a una versione Airflow completamente supportata.
Puoi creare ambienti con tutte le build Airflow completamente supportate.
Puoi comunque utilizzare un ambiente con una build Airflow che non è più supportata. L'ambiente funziona ancora, puoi continuare a utilizzarlo e puoi comunque eseguirne l'upgrade a una versione completamente supportata.
Composer 2
Google supporta le versioni di Cloud Composer 2 per un periodo di tempo successivo al rilascio della versione. Durante questo periodo, gli ambienti di Cloud Composer 2 che utilizzano queste versioni sono completamente supportati.
Il supporto della versione di Cloud Composer 2 è definito come segue:
0-12 mesi dalla data di rilascio: gli ambienti di Cloud Composer 2 che eseguono queste versioni sono completamente supportati.
12-18 mesi dalla data di rilascio: gli ambienti di Cloud Composer 2 che eseguono queste versioni non sono supportati, tranne per la notifica ai clienti di problemi di sicurezza.
Più di 18 mesi dalla data di rilascio: gli ambienti di Cloud Composer 2 che eseguono queste versioni non sono supportati e sono completamente gestiti dall'utente.
Puoi utilizzare le versioni di Cloud Composer dopo la data in cui non sono più supportate. Ad esempio, se il tuo ambiente è basato su una versione di Cloud Composer che ha superato il periodo di supporto, l'ambiente continua a funzionare e puoi continuare a utilizzarlo. In questo caso, ti consigliamo di eseguire l'upgrade del tuo ambiente a una versione supportata.
Composer 1
Nuove versioni di Cloud Composer 1 sono state rilasciate fino alla fine di marzo 2023. Tutte le versioni rilasciate di Cloud Composer 1 seguono gli stessi criteri di ritiro delle versioni di Cloud Composer 2 e sono supportate in base a tale criterio.
Il 25 marzo 2024, Cloud Composer 1 è entrato in modalità post-manutenzione. Google non rilascerà ulteriori aggiornamenti per Cloud Composer 1, tra cui nuove versioni di Airflow, correzioni di bug e aggiornamenti della sicurezza. Consigliamo la migrazione a Cloud Composer 2.
Supporto della versione di Airflow
Airflow segue lo schema di controllo delle versioni del software semantico. Ogni versione di Airflow ha una versione principale, minor e patch.
Composer 3
In Cloud Composer 3, nuove versioni e build di Airflow diventano disponibili col passare del tempo.
Il tuo ambiente può funzionare con tutte le versioni e build di Airflow precedenti e riceve automaticamente gli aggiornamenti dei componenti dell'infrastruttura. Ogni versione e build sono supportate come descritto in Ritiro e assistenza delle versioni e puoi scegliere di eseguire l'upgrade della versione di Airflow a una versione o una build successiva.
Composer 2
Per un elenco delle versioni di Airflow supportate in ogni versione di Cloud Composer, consulta l'elenco delle versioni di Cloud Composer.
In ogni release, Cloud Composer 2 supporta due versioni secondarie di Airflow 2.
Ad esempio, Cloud Composer 2.4.0 supporta Airflow 2.4.* e Airflow 2.5.*.
Per ogni versione secondaria di Airflow 2, Cloud Composer supporta una versione patch.
Ad esempio, per Airflow 2.4.*, Cloud Composer supporta Airflow 2.4.3.
Quando una nuova versione patch di Airflow 2 diventa disponibile in Cloud Composer, la release corrispondente ha due versioni patch di Airflow 2 disponibili per la stessa versione secondaria di Airflow. La versione precedente della patch viene quindi rimossa in una delle release successive.
Ad esempio, Cloud Composer 2.3.4 supporta sia Airflow 2.5.1 che Airflow 2.5.3.
Cloud Composer può saltare alcune versioni di patch di Airflow tra le release di Cloud Composer. Inoltre, in caso di problemi funzionali, di qualità o di prestazioni con una specifica versione patch di Airflow, Cloud Composer può anche saltare questa versione.
Ad esempio, Airflow 2.1.3 è ignorato e Airflow 2.1.4 è disponibile.
Una release Cloud Composer che esegue una versione stabile di Airflow può includere aggiornamenti di Airflow di cui viene eseguito il backporting da una versione successiva di Airflow.
Composer 1
L'ultima versione di Airflow supportata in Cloud Composer 1 è Airflow 2.4.3.
Solo Cloud Composer 1 supporta Airflow 1.10.15, che è l'ultima versione rilasciata di Airflow 1.
Schema della versione di Cloud Composer
Composer 3
Lo schema di controllo delle versioni di Cloud Composer 3 acquisisce le versioni e le build di Airflow:
composer-3-airflow-x.y.z-build.t
Dove:
composer-3
è la versione di Cloud Composer.airflow-x.y.z.build.t
è la versione e la build di Airflow. Ogni release successiva della stessa versione di Airflow in Cloud Composer 3 ha un numero di build più elevato. Il numero di build è definito da Cloud Composer e non dal progetto open source Airflow.
Composer 2
Lo schema di controllo delle versioni delle immagini di Cloud Composer 2 acquisisce le versioni di Cloud Composer e Airflow:
composer-2.b.c-airflow-x.y.z
Dove:
composer-2.b.c
è la versione delle personalizzazioni gestite da Cloud Composerairflow-x.y.z
è la release Airflow
Composer 1
Lo schema di controllo delle versioni delle immagini di Cloud Composer 1 acquisisce le versioni di Cloud Composer e Airflow:
composer-1.b.c-airflow-x.y.z
Dove:
composer-1.b.c
è la versione delle personalizzazioni gestite da Cloud Composerairflow-x.y.z
è la release Airflow
Alias versione
Gli alias di versione funzionano nel seguente modo:
Cloud Composer risolve il formato completo dell'alias di versione al momento della creazione dell'ambiente:
- Tutti gli alias di versione diventano
composer-3-airflow-x.y.z-build.t
in Cloud Composer 3. - Tutti gli alias di versione diventano
composer-a.b.c-airflow-x.y.z
in Cloud Composer 2 e Cloud Composer 1.
- Tutti gli alias di versione diventano
In Cloud Composer 3, l'utilizzo di un alias di versione, come
composer-3-airflow-x.y
non esegue automaticamente l'upgrade della versione e della build di Airflow del tuo ambiente. L'ambiente rimane sulla stessa build e versione di Airflow finché non esegui l'upgrade. L'ambiente riceve comunque upgrade automatici dell'infrastruttura, come di consueto.In Cloud Composer 2 e Cloud Composer 1, l'utilizzo di un alias di versione, come
composer-a-airflow-x.y.z
, non fornisce upgrade automatici per un ambiente. L'ambiente rimane sulla stessa versione di Cloud Composer e Airflow finché non lo esegui.
Alias versione di Cloud Composer 3
Cloud Composer 3 supporta i seguenti alias di versione:
Alias | Versione Airflow |
---|---|
composer-3-airflow-2 |
Versione e build più recenti di Airflow 2 |
composer-3-airflow-x.y |
Versione e build più recenti di Airflow in x.y versioni principali e secondarie |
composer-3-airflow-x.y.z |
Ultima build della versione specificata di Airflow |
Alias versione di Cloud Composer 2
Cloud Composer 2 supporta i seguenti alias di versione:
Alias | Versione di Cloud Composer | Versione Airflow |
---|---|---|
composer-2-airflow-2 |
Ultima versione di Cloud Composer 2 | Ultima versione di Airflow 2 |
composer-2-airflow-x.y |
Ultima versione di Cloud Composer 2 | Ultima versione di Airflow all'interno di x.y versione principale e secondaria |
composer-2-airflow-x.y.z |
Ultima versione di Cloud Composer 2 | Versione specificata di Airflow |
composer-2.b.c-airflow-x.y |
Versione specificata di Cloud Composer 2 | Ultima versione di Airflow disponibile in x.y versione principale e secondaria |
Alias versione di Cloud Composer 1
Cloud Composer 1 supporta i seguenti alias di versione:
Alias | Versione di Cloud Composer | Versione Airflow |
---|---|---|
composer-1-airflow-2 |
Ultima versione di Cloud Composer 1 | Ultima versione di Airflow 2 |
composer-1-airflow-1 |
Ultima versione di Cloud Composer 1 | Ultima versione di Airflow 1 |
composer-1-airflow-x.y |
Ultima versione di Cloud Composer 1 | Ultima versione di Airflow all'interno di x.y versione principale e secondaria |
composer-1-airflow-x.y.z |
Ultima versione di Cloud Composer 1 | Versione specificata di Airflow |
composer-1.b.c-airflow-x.y |
Versione specificata di Cloud Composer 1 | Ultima versione di Airflow disponibile in x.y versione principale e secondaria. |
I seguenti alias di versione puntano a Cloud Composer 2. Puoi comunque utilizzarli, ma valuta la possibilità di passare agli alias per la tua versione di Cloud Composer.
composer-latest-airflow-x.y
è uguale acomposer-2-airflow-x.y
.composer-latest-airflow-x.y.z
è uguale acomposer-2-airflow-x.y.z
.
Argomenti della versione in Google Cloud CLI
Quando crei o esegui l'upgrade di un ambiente Cloud Composer utilizzando Google Cloud CLI, puoi specificare le versioni di Cloud Composer e Airflow:
Composer 3
L'argomento
--image-version
specifica la versione di Airflow e build nel formatocomposer-3-airflow-x.y.z-build.t
. Puoi utilizzare alias di versione, che vengono risolti da Google Cloud CLI nel formato completo.--airflow-version
specifica la versione Airflow nei seguenti formati:Il formato
x.y.z
è per l'ultima build della versione specificata di Airflow. Questo formato è uguale all'alias della versionecomposer-3-airflow-x.y.z
.Il formato
x.y
è per l'ultima build di Airflow disponibile nelle versioni principali e secondariex.y
. Questo formato è uguale all'alias di versionecomposer-3-airflow-x.y
.x.y.z-build.t
è la versione e la build specificate di Airflow. Questo formato è uguale acomposer-3-airflow-x.y.z-build.t
.
Composer 2
L'argomento
--image-version
specifica le versioni Cloud Composer 2 e Airflow:composer-a.b.c-airflow-x.y.z
crea un ambiente con le versioni specificate di Cloud Composer e Airflow.- Gli alias di versione si risolvono prima nel formato
composer-a.b.c-airflow-x.y.z
, quindi creano un ambiente con le versioni specificate di Cloud Composer 2 e Airflow.
--airflow-version
specifica la versione Airflow nei seguenti formati:Il formato
x.y.z
è per l'ultima versione di Cloud Composer 2 e la versione specificata di Airflow. Questo formato è uguale all'alias di versionecomposer-2-airflow-x.y.z
.Il formato
x.y
è per l'ultima versione di Cloud Composer 2 e l'ultima versione di Airflow disponibile nellex.y
versioni principali e secondarie. Questo formato è uguale all'alias della versionecomposer-2-airflow-x.y
.
Composer 1
L'argomento
--image-version
specifica le versioni Cloud Composer 1 e Airflow:composer-a.b.c-airflow-x.y.z
crea un ambiente con le versioni specificate di Cloud Composer e Airflow.- Gli alias di versione si risolvono prima nel formato
composer-a.b.c-airflow-x.y.z
, quindi creano un ambiente con le versioni specificate di Cloud Composer 1 e Airflow.
--airflow-version
specifica la versione Airflow nei seguenti formati:Il formato
x.y.z
è per l'ultima versione di Cloud Composer 1 e la versione specificata di Airflow. Questo formato è uguale all'alias di versionecomposer-1-airflow-x.y.z
.Il formato
x.y
è per l'ultima versione di Cloud Composer 1 e l'ultima versione di Airflow disponibile nelle versioni principali e secondarie dix.y
. Questo formato è uguale all'alias di versionecomposer-1-airflow-x.y
.
Passaggi successivi
- Immagini di Cloud Composer
- Crea un ambiente
- Esegui l'upgrade di un ambiente Cloud Composer esistente