Aggiorna ambienti

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Questa pagina spiega come aggiornare un ambiente.

Informazioni sulle operazioni di aggiornamento

Quando modifichi i parametri dell'ambiente, ad esempio specificando nuovi e parametri delle prestazioni o installando pacchetti PyPI personalizzati, gli aggiornamenti dell'ambiente.

Una volta completata l'operazione, le modifiche diventano disponibili nel tuo completamente gestito di Google Cloud.

Per un singolo ambiente Cloud Composer, puoi avviarne solo uno un'operazione di aggiornamento alla volta. Devi attendere il completamento di un'operazione di aggiornamento prima di avviare un'altra operazione nell'ambiente.

Impatto degli aggiornamenti sull'esecuzione delle attività Airflow

Quando esegui un'operazione di aggiornamento, ad esempio installando pacchetti PyPI personalizzati, tutti gli scheduler e i worker Airflow nel tuo ambiente riavviare e tutte le attività attualmente in esecuzione vengono terminate. Dopo l'aggiornamento viene completata, Airflow pianifica queste attività per un nuovo tentativo, a seconda il modo in cui configuri i nuovi tentativi per i DAG.

Aggiornamento con Terraform

Esegui terraform plan prima del giorno terraform apply per verificare se Terraform crea una nuova anziché aggiornarlo.

Prima di iniziare

Aggiorna ambienti

Per saperne di più sull'aggiornamento dell'ambiente, consulta altra documentazione pagine su specifiche operazioni di aggiornamento. Ad esempio:

Visualizza i dettagli dell'ambiente

Console

  1. Nella console Google Cloud, vai alla pagina Ambienti.

    Vai ad Ambienti

  2. Nell'elenco degli ambienti, fai clic sul nome dell'ambiente. Si apre la pagina Dettagli ambiente.

gcloud

Esegui questo comando gcloud:

gcloud composer environments describe ENVIRONMENT_NAME \
  --location LOCATION

Sostituisci:

  • ENVIRONMENT_NAME con il nome dell'ambiente.
  • LOCATION con la regione in cui si trova l'ambiente.

API

Creare una richiesta API environments.get.

Esempio:

GET https://composer.googleapis.com/v1/projects/example-project/
locations/us-central1/environments/example-environment

Terraform

Esegui il comando terraform state show per la risorsa del tuo ambiente.

Il nome della risorsa Terraform del tuo ambiente potrebbe essere diverso del tuo ambiente.

terraform state show google_composer_environment.RESOURCE_NAME

Sostituisci:

  • RESOURCE_NAME con il nome della risorsa dell'ambiente.

Rollback delle modifiche all'aggiornamento in corso

In alcune rare situazioni, un'operazione di aggiornamento potrebbe essere interrotta (ad es. a causa di un timeout) e le modifiche richieste potrebbero non essere rollback in tutti i componenti dell'ambiente (come il server web Airflow).

Ad esempio, un'operazione di aggiornamento potrebbe comportare l'installazione o la rimozione di Moduli PyPI, ridefinizione o definizione di un nuovo Airflow o Cloud Composer o la modifica di alcuni parametri correlati ad Airflow.

Una situazione del genere potrebbe verificarsi se viene attivata un'operazione di aggiornamento quando le operazioni sono in corso, ad esempio la scalabilità automatica o un'operazione di manutenzione.

In questa situazione, ti consigliamo di ripetere l'operazione.

Durata delle operazioni di aggiornamento o upgrade

La maggior parte delle operazioni di aggiornamento o upgrade richiede il riavvio dei componenti Airflow come scheduler, worker e server web di Airflow.

Una volta riavviato, un componente deve essere inizializzato. Durante inizializzazione, gli scheduler e i worker di Airflow scaricano i contenuti di /dags e /plugins cartelle dal bucket dell'ambiente. Il processo di sincronizzazione agli scheduler e ai worker di Airflow non è istantaneo e dipende la dimensione totale e il numero di tutti gli oggetti contenuti in queste cartelle.

Consigliamo di conservare solo i file DAG e plug-in in /dags e /plugins le cartelle (rispettivamente) e rimuovi tutti gli altri file. Troppi dati nelle cartelle /dags e /plugins potrebbe rallentare l'inizializzazione di Airflow componenti e, in alcuni casi, l'inizializzazione potrebbe non essere possibile.

Ti consigliamo di conservare meno di 30 MB di dati nelle cartelle /dags e /plugins e di non superare 100 MB per i dati.

Per ulteriori informazioni, vedi anche:

Upgrade del tipo di macchina per i nodi GKE

Puoi eseguire manualmente l'upgrade del tipo di macchina per del cluster GKE eliminando default-pool e creando un nuovo default-pool con il tipo di macchina desiderato.

Ti consigliamo di specificare un tipo di macchina adatto al tipo di che avviene nel tuo ambiente Cloud Composer quando crea un ambiente.

Se esegui job che eseguono calcoli che utilizzano molte risorse, vuoi utilizzare gli operatori GKE.

Dopo un upgrade, il tipo di macchina precedente è ancora elencato in i dettagli dell'ambiente. Ad esempio, la pagina Dettagli ambiente non riflette il nuovo tipo di macchina.

Console

Per eseguire l'upgrade del tipo di macchina:

  1. Nella console Google Cloud, vai alla pagina Ambienti.

    Vai ad Ambienti

  2. Nell'elenco degli ambienti, fai clic sul nome dell'ambiente. Si apre la pagina Dettagli ambiente.

  3. Ottieni informazioni sul pool di nodi predefinito:

    1. Vai alla scheda Configurazione dell'ambiente.

    2. Fai clic sul link Visualizza i dettagli del cluster.

    3. Nella pagina Cluster nella sezione Nodi, fai clic su default-pool.

    4. Prendi nota di tutte le informazioni per default-pool nei dettagli del pool di nodi. . Puoi utilizzare queste informazioni per creare un nuovo pool di nodi predefinito per il tuo ambiente.

  4. Per eliminare default-pool:

    1. Nella pagina Dettagli del pool di nodi, fai clic sulla freccia indietro per tornare alla pagina Cluster per il tuo ambiente.

    2. Nella sezione Pool di nodi, fai clic sull'icona del cestino per default-pool. Quindi, fai clic su Elimina per confermare l'operazione.

  5. Per creare il nuovo default-pool:

    1. Nella pagina Cluster, fai clic su Aggiungi pool di nodi.

    2. In Nome, inserisci default-pool. Devi usare il nome default-pool in modo che i flussi di lavoro nel tuo ambiente possano essere eseguiti in questo pool.

    3. Inserisci le impostazioni Dimensioni e nodi.

    4. (Solo per gli account di servizio Compute Engine predefiniti) Per l'accesso seleziona Consenti l'accesso completo a tutte le API Cloud.

    5. Fai clic su Salva.

  6. Se noti che i carichi di lavoro sono distribuiti in modo non uniforme, fare lo scale down il deployment worker Airflow a zero e scale up di nuovo.

Passaggi successivi