Esegui la migrazione degli ambienti a Cloud Composer 3

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Questa pagina spiega come trasferire i DAG, i dati e la configurazione dall'ambiente Cloud Composer 2 esistente a Cloud Composer 3.

Prima di iniziare

  • Questa guida alla migrazione utilizza gli snapshot. Gli snapshot sono supportati in Cloud Composer 2 versione 2.0.9 e successive.

  • Cloud Composer supporta la migrazione affiancata da Cloud Composer 2 a Cloud Composer 3. Non è possibile eseguire l'upgrade da Cloud Composer 2 a Cloud Composer 3 in situ.

  • Consulta l'elenco delle differenze tra Cloud Composer 2 e Cloud Composer 3. Assicurati che il tuo ambiente non utilizzi funzionalità che non sono disponibili nell'Anteprima pubblica di Cloud Composer 3.

  • La dimensione massima del database Airflow che supporta gli snapshot è 20 GB. Se il database del tuo ambiente occupa più di 20 GB, riduci le dimensioni del database Airflow.

  • Il numero totale di oggetti nelle cartelle /dags, /plugins e /data in del bucket dell'ambiente deve essere inferiore a 100.000 per creare snapshot.

  • Se utilizzi il meccanismo XCom per trasferire i file, assicurati di lo usi in base alle linee guida di Airflow. Il trasferimento di file di grandi dimensioni o di un numero elevato di file utilizzando XCom influisce sul rendimento del database Airflow e può causare errori durante il caricamento degli snapshot o l'upgrade dell'ambiente. Valuta l'uso di alternative come come Cloud Storage, per trasferire grandi volumi di dati.

Assicurati che i tuoi DAG siano compatibili con Cloud Composer 3

Assicurati che i tuoi DAG siano compatibili con Cloud Composer 3 seguendo questi suggerimenti:

  • L'elenco dei pacchetti nell'ambiente Cloud Composer 3 può essere diverso da quello nell'ambiente Cloud Composer 2. Ciò potrebbe influire sulla compatibilità dei tuoi DAG con Cloud Composer 3.

  • Cloud Composer carica gli override della configurazione, le variabili di ambiente e i pacchetti PyPI dallo snapshot dell'ambiente Cloud Composer 2 in Cloud Composer 3 senza modificarli o adattarli per la compatibilità. Se i pacchetti PyPI personalizzati causano conflitti di dipendenza, puoi saltarne l'installazione quando carichi lo snapshot.

  • In Cloud Composer 3, il cluster dell'ambiente si trova nel progetto tenant. Assicurati che i tuoi DAG siano compatibili con questa modifica. In particolare, I carichi di lavoro di KubernetesPodOperator ora scalano in modo indipendente per l'ambiente e non è possibile usare le configurazioni dell'affinità dei pod.

  • In Cloud Composer 3 non è possibile accedere direttamente al database Airflow. Assicurati che i tuoi DAG siano compatibili con questa modifica.

Mettere in pausa i DAG nell'ambiente Cloud Composer 2

Per evitare esecuzioni duplicate dei DAG, metti in pausa tutti i DAG nell'ambiente Cloud Composer 2 prima di salvare lo snapshot. Salta il DAG di monitoraggio della presenza attiva (airflow_monitoring), che viene utilizzato a scopo di monitoraggio e non è incluso nelle istantanee dell'ambiente.

Puoi utilizzare una qualsiasi delle seguenti opzioni per mettere in pausa i DAG:

  • Metti in pausa i DAG uno alla volta nella console Google Cloud:

    1. Nella console Google Cloud, vai alla pagina Ambienti.

      Vai ad Ambienti

    2. Seleziona un ambiente per visualizzarne i dettagli.

    3. Nella pagina Dettagli ambiente, vai alla scheda DAG.

    4. Fai clic sul nome di un DAG.

    5. Nella pagina Dettagli DAG, fai clic su Metti in pausa DAG.

  • Nell'interfaccia web di Airflow, vai a DAG e metti in pausa manualmente tutti i DAG.

  • Utilizza lo script composer_dags per mettere in pausa tutti i DAG:

    python3 composer_dags.py --environment COMPOSER_2_ENV \
  --project PROJECT_ID \
  --location COMPOSER_2_LOCATION \
  --operation pause

    Sostituisci:

    • COMPOSER_2_ENV con il nome del tuo ambiente Cloud Composer 2.
    • PROJECT_ID con l'ID progetto.
    • COMPOSER_2_LOCATION con la regione in cui si trova l'ambiente.

Salvare uno snapshot dell'ambiente Cloud Composer 2

Console

Crea uno snapshot del tuo ambiente:

  1. Nella console Google Cloud, vai alla pagina Ambienti.

    Vai ad Ambienti

  2. Nell'elenco degli ambienti, fai clic sul nome del tuo nell'ambiente Cloud Composer 2. Si apre la pagina Dettagli ambiente.

  3. Fai clic su Crea snapshot.

  4. Nella finestra di dialogo Crea snapshot, fai clic su Invia. Nella questa guida, salva lo snapshot nel file di archiviazione dell'ambiente Cloud Composer 2 bucket, ma puoi selezionare una località diversa, se vuoi. Se specificare una località personalizzata, gli account di servizio di entrambi gli ambienti deve disporre delle autorizzazioni di lettura e scrittura per la località specificata.

  5. Attendi che Cloud Composer crei lo snapshot.

  6. Dopo la creazione dello snapshot, il messaggio visualizzato mostra la posizione. dell'istantanea. Salva queste informazioni per utilizzarle in un secondo momento quando carichi questo snapshot nell'ambiente Cloud Composer 3.

    Ad esempio, la posizione dello snapshot potrebbe avere il seguente aspetto: gs://us-central1-example-916807e1-bucket/snapshots/snapshots_example-project_us-central1_example-environment/2024-05-15T15-23-12.

gcloud

  1. Crea uno snapshot dell'ambiente Cloud Composer 2:

    gcloud composer environments snapshots save \
  COMPOSER_2_ENV \
  --location COMPOSER_2_LOCATION

    Sostituisci:

    • COMPOSER_2_ENV con il nome del tuo ambiente Cloud Composer 2.
    • COMPOSER_2_LOCATION con la regione in cui si trova l'ambiente Cloud Composer 2.

    • (Facoltativo) Puoi utilizzare l'argomento --snapshot-location per specificare una una località personalizzata in cui archiviare lo snapshot dell'ambiente.

      In questa guida, salvi l'istantanea nel del bucket dell'ambiente Cloud Composer 2, ma puoi selezionare un'opzione in un'altra posizione, se vuoi. Se specifichi una posizione personalizzata, gli account di servizio di entrambi gli ambienti devono disporre delle autorizzazioni di lettura e scrittura per la posizione specificata.

  2. Dopo aver creato l'istantanea, il messaggio visualizzato mostra la posizione dell'istantanea. Salva queste informazioni per utilizzarle in un secondo momento quando carichi questo snapshot nell'ambiente Cloud Composer 3.

    Ad esempio, la posizione dell'istantanea potrebbe essere simile alla seguente: gs://us-central1-example-916807e1-bucket/snapshots/snapshots_example-project_us-central1_example-environment/2024-05-15T15-23-12.

Creare un ambiente Cloud Composer 3

Crea un ambiente Cloud Composer 3 utilizzando quanto segue. linee guida:

  • Puoi iniziare con la stessa configurazione dei limiti delle risorse Cloud Composer 2 e in seguito scala e ottimizza la configurazione ulteriormente.

  • Negli ambienti Cloud Composer 3, Il processore DAG Airflow viene eseguito come un server dell'ambiente di rete. Poiché il processore DAG offloada l'analisi dei DAG dall'scheduler, ti consigliamo di ridistribuire le risorse precedentemente allocate agli scheduler di Airflow. Puoi farlo in un secondo momento dopo la migrazione a Cloud Composer 3 e monitorare il rendimento dello scheduler e del processore DAG.

  • Cloud Composer 3 offre un networking più semplificato e semplice rispetto a Cloud Composer 2. È possibile passare da un'esperienza all'altra Configurazione di rete con IP pubblico e IP privato e collegamento e scollegamento di VPC reti. Non è necessario specificare gli intervalli IP. Assicurati che la configurazione di rete dell'ambiente Cloud Composer 3 corrisponda a quella di Cloud Composer 2.

  • Non è necessario specificare gli override di configurazione e le variabili di ambiente perché li sostituirai in un secondo momento quando caricherai lo snapshot del tuo ambiente Cloud Composer 2.

Carica lo snapshot nell'ambiente Cloud Composer 3

Console

Per caricare lo snapshot nell'ambiente Cloud Composer 3:

  1. Nella console Google Cloud, vai alla pagina Ambienti.

    Vai ad Ambienti

  2. Nell'elenco degli ambienti, fai clic sul nome del tuo nell'ambiente Cloud Composer 3. Si apre la pagina Dettagli ambiente.

  3. Fai clic su Carica snapshot.

  4. Nella finestra di dialogo Carica snapshot, fai clic su Sfoglia.

  5. Seleziona la cartella con lo snapshot.

    Se utilizzi la posizione predefinita per questa guida, la cartella si trova nel bucket dell'ambiente Cloud Composer 2 nella cartella /snapshots e il suo nome è il timestamp dell'operazione di salvataggio dello snapshot. La stessa posizione è stata visualizzata nel messaggio relativo alla creazione riuscita dell'istantanea.

    Ad esempio: us-central1-example-916807e1-bucket/snapshots_example-project_us-central1_example-environment/2024-05-15T15-23-12.

  6. Fai clic su Carica e attendi che Cloud Composer carichi lo snapshot.

gcloud

Carica lo snapshot dell'ambiente Cloud Composer 2 nell'ambiente Cloud Composer 3:

gcloud composer environments snapshots load \
  COMPOSER_3_ENV \
  --location COMPOSER_3_LOCATION \
  --snapshot-path "SNAPSHOT_PATH"

Sostituisci:

  • COMPOSER_3_ENV con il nome dell'ambiente Cloud Composer 3.
  • COMPOSER_3_LOCATION con la regione in cui si trova l'ambiente Cloud Composer 3.
  • SNAPSHOT_PATH con l'URI del bucket del tuo ambiente Cloud Composer 2, seguito dal percorso dello snapshot. Uguale posizione è stata visualizzata nel messaggio relativo alla riuscita creazione di lo snapshot. Ad esempio: gs://us-central1-example-916807e1-bucket/snapshots/example-project_us-central1_example-environment_2024-05-15T15-23-12.

Riattivare i DAG nell'ambiente Cloud Composer 3

Puoi utilizzare una delle seguenti opzioni:

  • Ripristina la messa in pausa dei DAG uno alla volta nella console Google Cloud:

    1. Nella console Google Cloud, vai alla pagina Ambienti.

      Vai ad Ambienti

    2. Seleziona un ambiente per visualizzarne i dettagli.

    3. Nella pagina Dettagli ambiente, vai alla scheda DAG.

    4. Fai clic sul nome di un DAG.

    5. Nella pagina Dettagli DAG, fai clic su Riattiva DAG.

  • Nell'interfaccia web di Airflow, vai a DAG e riattiva manualmente tutti i DAG uno per uno.

  • Utilizza lo script composer_dags per riattivare tutti i DAG:

      python3 composer_dags.py --environment COMPOSER_3_ENV \
  --project PROJECT_ID \
  --location COMPOSER_3_LOCATION \
  --operation unpause

    Sostituisci:

    • COMPOSER_3_ENV con il nome del tuo ambiente Cloud Composer 3.
    • PROJECT_ID con l'ID progetto.
    • COMPOSER_3_LOCATION con la regione in cui si trova l'ambiente.

Verifica la presenza di errori del DAG

  1. Nell'interfaccia web di Airflow, vai a DAG e controlla se sono stati segnalati errori di sintassi dei DAG.

  2. Verifica che le esecuzioni del DAG siano pianificate all'ora corretta.

  3. Attendi che le esecuzioni del DAG avvengano nell'ambiente Cloud Composer 3 e per verificare che siano andati a buon fine. Se l'esecuzione di un DAG è andata a buon fine, non riprendere la sua esecuzione nell'ambiente Cloud Composer 2. In caso contrario, nell'ambiente Cloud Composer 2 verrà eseguita un'esecuzione del DAG per la stessa data e ora.

  4. Se l'esecuzione di un DAG specifico non va a buon fine, prova a risolvere i problemi relativi al DAG finché non viene eseguito correttamente in Cloud Composer 3.

Monitora l'ambiente Cloud Composer 3

Dopo aver trasferito tutti i DAG e la configurazione a Cloud Composer 3 dell'ambiente, monitorare potenziali problemi, esecuzioni di DAG non riuscite e, l'integrità dell'ambiente.

Se l'ambiente Cloud Composer 3 funziona senza problemi per un periodo di tempo sufficiente, valuta la possibilità di eliminare l'ambiente Cloud Composer 2.

Passaggi successivi