Upgrade degli ambienti

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Questa pagina descrive come eseguire l'upgrade dell'ambiente a una nuova versione di Cloud Composer o Airflow.

Informazioni sulle operazioni di upgrade

Puoi eseguire l'upgrade della versione Cloud Composer, la versione Airflow o entrambe contemporaneamente.

Quando modifichi la versione di Airflow o Cloud Composer utilizzata dal tuo ambiente:

• Cloud Composer esegue nuovamente il deployment dei componenti dell'ambiente utilizzando nuove versioni delle immagini Cloud Composer.

• Cloud Composer applica le modifiche alla configurazione di Airflow, come i pacchetti PyPI personalizzati o gli override delle opzioni di configurazione di Airflow, se nel tuo ambiente sono state applicate prima dell'upgrade.

• Cloud Composer aggiorna la connessione airflow_db di Airflow in modo che punti al nuovo database Cloud SQL.

L'upgrade non cambia il modo in cui ti connetti alle risorse nel tuo ambiente, come l'URL del bucket dell'ambiente o il server web Airflow.

Limitazioni delle operazioni di upgrade

Le operazioni di upgrade hanno le seguenti limitazioni:

• Non puoi eseguire il downgrade a una versione precedente di Cloud Composer o Airflow.

• Nella console Google Cloud, puoi eseguire l'upgrade solo alle versioni più recenti supportate di Cloud Composer.

• In Google Cloud CLI, API o Terraform, puoi eseguire l'upgrade di un ambiente alle ultime versioni supportate, alle tre versioni precedenti di Cloud Composer e alle versioni con una cronologia dell'upgrade estesa. Non è possibile eseguire l'upgrade ad altre versioni di Cloud Composer, anche se sono ancora supportate e possono essere utilizzate per creare un nuovo ambiente.

• La versione a cui esegui l'upgrade deve supportare l'attuale versione Python del tuo ambiente.

• I limiti di quota dell'API Compute Engine possono impedire gli upgrade. Nella console Google Cloud, vai alla pagina IAM e amministrazione > Quote e limiti di sistema e controlla se la quota dell'API Compute Engine per la CPU non è stata superata. Se stai per raggiungere la soglia di quota, richiedi l'estensione della quota prima di procedere con l'operazione di upgrade.

• Non puoi eseguire l'upgrade del tuo ambiente se il database Airflow contiene più di 16 GB di dati. Durante un upgrade, viene mostrato un avviso se la dimensione del database Airflow è superiore a 16 GB. In questo caso, esegui la manutenzione del database per ridurne le dimensioni.

Prima di iniziare

Attenzione:

• Assicurati di conoscere le differenze tra le versioni attuali di Airflow e Cloud Composer e le versioni a cui stai eseguendo l'upgrade. La nuova versione può includere diverse versioni di pacchetti preinstallati, patch di Cloud Composer o modifiche alle funzionalità Airflow, fornite dal progetto open source Airflow. Puoi controllare le versioni dei pacchetti del provider inclusi in una versione specifica.

• Assicurati che i tuoi DAG siano compatibili con la nuova versione di Airflow e con le nuove versioni di tutti i pacchetti del provider (incluso il pacchetto di provider Airflow per Google Cloud e i servizi Google). Eventuali modifiche incompatibili possono causare l'interruzione del funzionamento dei DAG.

• Durante un'operazione di upgrade, tutte le attività in esecuzione vengono terminate. Una volta completato l'upgrade, Airflow pianifica queste attività per un nuovo tentativo, a seconda di come configuri i nuovi tentativi per i DAG.

• Non eseguire l'upgrade a versioni più recenti dei cluster GKE dei tuoi ambienti Cloud Composer. Utilizza la versione di GKE preconfigurata durante la creazione dell'ambiente e affidati agli upgrade automatici del servizio GKE.

• Ti consigliamo di creare un nuovo snapshot dell'ambiente per poter ricreare l'ambiente in caso di necessità.

• L'account deve avere un ruolo in grado di attivare operazioni di upgrade dell'ambiente. Inoltre, l'account di servizio dell'ambiente deve avere un ruolo con autorizzazioni sufficienti per eseguire operazioni di upgrade. Per ulteriori informazioni, vedi Controllo dell'accesso.

Verifica che il tuo ambiente sia aggiornato

Cloud Composer visualizza avvisi quando l'immagine del tuo ambiente si avvicina alla data di fine del supporto completo. Puoi utilizzare questi avvisi per mantenere sempre il tuo ambiente supportato.

Figura 1. Nella pagina Dettagli ambiente viene visualizzato un messaggio di ritiro.

Cloud Composer tiene traccia della versione dell'immagine di Cloud Composer su cui si basa il tuo ambiente. Quando si avvicina la data di fine dell'assistenza, puoi visualizzare un avviso nell'elenco degli ambienti e nella pagina Dettagli ambiente.

Nota: puoi sempre eseguire l'upgrade del tuo ambiente, anche se la versione dell'immagine di Cloud Composer ha superato il periodo di supporto completo.

Per verificare se il tuo ambiente è aggiornato:

Console

1. Nella console Google Cloud, vai alla pagina Ambienti.

   Vai ad Ambienti

2. Nell'elenco degli ambienti, fai clic sul nome dell'ambiente. Si apre la pagina Dettagli ambiente.

3. Vai alla scheda Configurazione dell'ambiente.

4. Nel campo Versione immagine, viene visualizzato uno dei seguenti messaggi:

   • Versione più recente disponibile. L'immagine dell'ambiente è completamente supportata.

   • Nuova versione disponibile. L'immagine dell'ambiente è completamente supportata e puoi eseguirne l'upgrade a una versione successiva.

   • Il supporto di questa versione dell'immagine termina tra... L'immagine dell'ambiente verrà prossima alla fine dell'intero periodo di assistenza.

   • Questa versione non è supportata a partire da... Il tuo ambiente ha superato il periodo di supporto completo.

gcloud

Questa funzionalità non è disponibile tramite Google Cloud CLI. In alternativa, puoi Visualizzare gli upgrade disponibili per visualizzare le nuove versioni disponibili.

API

Questa funzionalità non è disponibile tramite l'API. In alternativa, puoi Visualizzare gli upgrade disponibili per visualizzare le nuove versioni disponibili.

Visualizza gli upgrade disponibili

Per visualizzare le versioni di Cloud Composer a cui puoi eseguire l'upgrade:

Console

1. Nella console Google Cloud, vai alla pagina Ambienti.

   Vai ad Ambienti

2. Nell'elenco degli ambienti, fai clic sul nome dell'ambiente. Si apre la pagina Dettagli ambiente.

3. Vai alla scheda Configurazione dell'ambiente e fai clic su Esegui l'upgrade della versione immagine.

4. Per l'elenco delle versioni disponibili, fai clic sul menu a discesa Versione immagine di Cloud Composer.

gcloud

gcloud composer environments list-upgrades \
  ENVIRONMENT_NAME \
  --location LOCATION

Sostituisci:

• ENVIRONMENT_NAME con il nome dell'ambiente.
• LOCATION con la regione in cui si trova l'ambiente.

Esempio:

gcloud composer environments list-upgrades example-environment \
  --location us-central1

API

Puoi visualizzare le versioni disponibili per una località. Per farlo, crea una richiesta API imageVersions.list.

Ad esempio:

// GET https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/imageVersions

Verifica la presenza di conflitti nei pacchetti PyPI prima di eseguire l'upgrade

Anteprima - Upgrade check

Questa funzionalità è soggetta ai "Termini delle Offerte pre-GA" nella sezione Termini generali del servizio dei Termini specifici dei servizi. Le funzionalità pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per saperne di più, consulta le descrizioni della fase di lancio.

Puoi controllare se i pacchetti PyPI installati nel tuo ambiente presentano conflitti con i pacchetti preinstallati nella nuova immagine Cloud Composer.

Un controllo riuscito significa che non esistono conflitti nelle dipendenze del pacchetto PyPI tra la versione corrente e quella specificata. Tuttavia, un'operazione di upgrade potrebbe comunque non riuscire per altri motivi.

Console

Per eseguire un upgrade, verifica il tuo ambiente:

1. Nella console Google Cloud, vai alla pagina Ambienti.

   Vai ad Ambienti

2. Nell'elenco degli ambienti, fai clic sul nome dell'ambiente. Si apre la pagina Dettagli ambiente.

3. Vai alla scheda Configurazione dell'ambiente, individua la voce Versione immagine e fai clic su Esegui l'upgrade.

4. Nella finestra di dialogo Upgrade della versione dell'ambiente, nell'elenco a discesa Nuova versione, seleziona una versione di Cloud Composer a cui vuoi eseguire l'upgrade.

5. Nella sezione Compatibilità dei pacchetti PyPI, fai clic su Verifica la presenza di conflitti.

6. Attendi il completamento della verifica. In caso di conflitti di dipendenza dai pacchetti PyPI, i messaggi di errore visualizzati contengono i dettagli sui pacchetti e le versioni dei pacchetti in conflitto.

gcloud

Per eseguire un controllo dell'upgrade per il tuo ambiente, esegui il comando environments check-upgrade con la versione dell'immagine di Cloud Composer.

gcloud composer environments check-upgrade \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --image-version VERSION

Sostituisci:

• ENVIRONMENT_NAME con il nome dell'ambiente.
• LOCATION con la regione in cui si trova l'ambiente.
• VERSION con la nuova versione dell'immagine Cloud Composer di cui vuoi eseguire l'upgrade, nel formato composer-a.b.c-airflow-x.y.z. Puoi anche utilizzare tutti gli alias di versione.

Esempio:

gcloud composer environments check-upgrade example-environment \
  --location us-central1 \
  --image-version composer-2.8.3-airflow-2.7.3

Output di esempio:

Waiting for [projects/example-project/locations/us-central1/environments/
example-environment] to be checked for PyPI package conflicts when upgrading
to composer-2.8.3-airflow-2.7.3. Operation [projects/example-project/locations/
us-central1/operations/04d0e8b2-...]...done.
...

Response:
'@type': type.googleapis.com/
google.cloud.orchestration.airflow.service.v1.CheckUpgradeResponse
buildLogUri: https://console.cloud.google.com/cloud-build/builds/79738aa7-...
containsPypiModulesConflict: CONFLICT
pypiConflictBuildLogExtract: |-
The Cloud Build image build failed: Build failed; check build logs for
details. Full log can be found at https://console.cloud.google.com/
cloud-build/builds/79738aa7-...
Error details: tensorboard 2.2.2 has requirement
setuptools>=41.0.0, but you have setuptools 40.3.0.

In alternativa, puoi eseguire un controllo dell'upgrade in modo asincrono. Utilizza l'argomento --async per effettuare una chiamata asincrona, quindi controlla il risultato con il comando gcloud composer operations describe.

API

Crea una richiesta API environments.checkUpgrade.

Specifica la versione dell'immagine nel campo imageVersion:

{
  "imageVersion": "VERSION"
}

Sostituisci VERSION con la nuova versione di cui vuoi eseguire l'upgrade, nel formato composer-a.b.c-airflow-x.y.z.

Esegui l'upgrade dell'ambiente

Attenzione: metti in pausa tutti i DAG e attendi il completamento delle attività in corso prima di eseguire l'upgrade.

Per eseguire l'upgrade dell'ambiente a una versione successiva di Cloud Composer o Airflow:

Console

1. Nella console Google Cloud, vai alla pagina Ambienti.

   Vai ad Ambienti

2. Nell'elenco degli ambienti, fai clic sul nome dell'ambiente. Si apre la pagina Dettagli ambiente.

3. Vai alla scheda Configurazione dell'ambiente.

4. Individua la voce Versione immagine e fai clic su Esegui l'upgrade.

5. Dal menu a discesa Versione immagine, seleziona una versione di Cloud Composer a cui vuoi eseguire l'upgrade.

6. Fai clic su Esegui l'upgrade.

gcloud

gcloud composer environments update \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --image-version VERSION

Sostituisci:

• ENVIRONMENT_NAME con il nome dell'ambiente.
• LOCATION con la regione in cui si trova l'ambiente.
• VERSION con la nuova versione dell'immagine Cloud Composer di cui vuoi eseguire l'upgrade, nel formato composer-a.b.c-airflow-x.y.z. Puoi anche utilizzare tutti gli alias di versione.

Ad esempio:

gcloud composer environments update
  example-environment \
  --location us-central1 \
  --image-version composer-2.8.3-airflow-2.7.3

API

1. Creare una richiesta API environments.patch.

2. In questa richiesta:

   1. Nel parametro updateMask, specifica la maschera config.softwareConfig.imageVersion.

   2. Nel corpo della richiesta, nel campo imageVersion, specifica una nuova versione a cui vuoi eseguire l'upgrade.

Ad esempio:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.imageVersion

  {
    "config": {
      "softwareConfig": {
        "imageVersion": "composer-2.8.3-airflow-2.7.3"
      }
    }
  }

Terraform

Il campo image_version nel blocco config.software_config controlla l'immagine di Cloud Composer del tuo ambiente. In questo campo, specifica una nuova immagine di Cloud Composer.

  resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    software_config {
      image_version = "VERSION"
    }
  }
}

Sostituisci:

• ENVIRONMENT_NAME con il nome dell'ambiente.
• LOCATION con la regione in cui si trova l'ambiente. la nuova versione dell'immagine Cloud Composer di cui vuoi eseguire l'upgrade, nel formato composer-a.b.c-airflow-x.y.z. Puoi anche utilizzare tutti gli alias di versione.

Esempio:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    software_config {
      image_version = "composer-2.8.3-airflow-2.7.3"
    }
  }
}

Passaggi successivi

• Elenco delle versioni
• Controllo delle versioni di Cloud Composer
• Aggiornare gli ambienti