Esegui la migrazione degli ambienti a Cloud Composer 2 (da Airflow 1) utilizzando gli snapshot

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Questa pagina spiega come trasferire DAG, dati e configurazione dagli ambienti Cloud Composer 1 e Airflow 1 esistenti a Cloud Composer 2 e Airflow 2.

Questa guida alla migrazione utilizza la funzionalità Snapshot.

Altre guide alla migrazione

Da	A	Metodo	Guida
Cloud Composer 1, Airflow 2	Cloud Composer 2, Airflow 2	Accanto, utilizzando gli snapshot	Guida alla migrazione (snapshot)
Cloud Composer 1, Airflow 1	Cloud Composer 2, Airflow 2	Affiancate, utilizzando gli snapshot	Questa guida (snapshot)
Cloud Composer 1, Airflow 2	Cloud Composer 2, Airflow 2	Trasferimento manuale fianco a fianco	Guida alla migrazione manuale
Cloud Composer 1, Airflow 1	Cloud Composer 2, Airflow 2	Trasferimento manuale fianco a fianco	Guida alla migrazione manuale
Flusso d'aria 1	Flusso d'aria 2	Trasferimento manuale affiancato	Guida alla migrazione manuale

Prima di iniziare

• Gli snapshot sono supportati in Cloud Composer 2 versione 2.0.9 e successive. Cloud Composer 1 supporta il salvataggio degli snapshot dell'ambiente nella versione 1.18.5.

• Cloud Composer supporta la migrazione affiancata da Cloud Composer 1 a Cloud Composer 2. Non è possibile eseguire l'upgrade da da Cloud Composer 1 a Cloud Composer 2 in loco.

• Consulta l'elenco delle differenze tra Cloud Composer 1 e Cloud Composer 2.

• La dimensione massima del database Airflow che supporta gli snapshot è 20 GB. Se il database del tuo ambiente più di 20 GB, ridurre le dimensioni del database Airflow.

• Il numero totale di oggetti nelle cartelle /dags, /plugins e /data in del bucket dell'ambiente deve essere inferiore a 100.000 per creare snapshot.

• Se utilizzi il meccanismo XCom per trasferire i file, assicurati di lo usi in base alle linee guida di Airflow. Il trasferimento di file di grandi dimensioni o di un numero elevato di file utilizzando XCom influisce sul rendimento del database Airflow e può causare errori durante il caricamento degli snapshot o l'upgrade dell'ambiente. Valuta l'uso di alternative come come Cloud Storage, per trasferire grandi volumi di dati.

• Poiché Cloud Composer 2 utilizza Airflow 2, la migrazione include passando la configurazione dei DAG e dell'ambiente ad Airflow 2. Consulta la guida alla migrazione da Airflow 1 ad Airflow 2 per informazioni sulle modifiche che non sono più supportate tra Airflow 1 e Airflow 2 in Cloud Composer.

• In questa guida, combinerai la migrazione ad Airflow 2 e la migrazione a Cloud Composer 2 in un'unica procedura di migrazione. In questo modo, non è necessario eseguire la migrazione a un ambiente Cloud Composer 1 con Airflow 2 prima di eseguire la migrazione a Cloud Composer 2.

Passaggio 1: esegui l'upgrade ad Airflow 1.10.15

Se il tuo ambiente utilizza una versione di Airflow precedente alla 1.10.15, esegui l'upgrade dell'ambiente a una versione di Cloud Composer che utilizza Airflow 1.10.15 e supporta gli snapshot.

Passaggio 2: controlla la compatibilità con Airflow 2

Per verificare la presenza di potenziali conflitti con Airflow 2, consulta la guida sull'upgrade ad Airflow 2.0 e versioni successive, nella sezione relativa all'upgrade dei DAG.

Un problema comune che potresti riscontrare riguarda i percorsi di importazione non compatibili. Per ulteriori informazioni su come risolvere questo problema di compatibilità, nel Aggiorna la guida ad Airflow 2.0+, consulta la sezione relativa ai provider di backport.

Passaggio 3: assicurati che i DAG siano pronti per Airflow 2

Prima di trasferire i DAG nell'ambiente Cloud Composer 2, assicurati che:

1. I DAG vengono eseguiti correttamente e non ci sono altri problemi di compatibilità.

2. I DAG utilizzino dichiarazioni di importazione corrette.

   Ad esempio, la nuova dichiarazione di importazione per BigQueryCreateDataTransferOperator può avere il seguente aspetto:

   from airflow.providers.google.cloud.operators.bigquery_dts \
       import BigQueryCreateDataTransferOperator
   

3. I DAG sono stati sottoposti a upgrade per Airflow 2. Questa modifica è compatibile con Airflow 1.10.14 e versioni successive.

Passaggio 4: metti in pausa i DAG nell'ambiente Cloud Composer 1

Avviso: se un DAG è attivato (non in pausa) in entrambi gli ambienti, ogni ambiente esegue la propria copia del DAG, come pianificato. Ciò potrebbe portare a eseguire duplicazioni delle esecuzioni del DAG per gli stessi dati e lo stesso momento di esecuzione.

Per evitare esecuzioni duplicate dei DAG, metti in pausa tutti i DAG nell'ambiente Cloud Composer 1 prima di salvare lo snapshot.

Puoi utilizzare una delle seguenti opzioni:

• Nell'interfaccia web di Airflow, vai a DAG e metti in pausa tutti i DAG manualmente.

• Utilizza lo script composer_dags per mettere in pausa tutti i DAG:

  python3 composer_dags.py --environment COMPOSER_1_ENV \
    --project PROJECT_ID \
    --location COMPOSER_1_LOCATION \
    --operation pause
  

  Sostituisci:

  • COMPOSER_1_ENV con il nome del tuo ambiente Cloud Composer 1.
  • PROJECT_ID con l'ID progetto.
  • COMPOSER_1_LOCATION con la regione in cui si trova l'ambiente.

Passaggio 5: salva lo snapshot dell'ambiente Cloud Composer 1

Attenzione: se vengono effettuate modifiche o esecuzioni dei DAG in Cloud Composer 1 dell'ambiente dopo aver salvato il suo snapshot, le informazioni su queste modifiche non trasferiti quando carichi lo snapshot in un secondo momento.

Console

Crea uno snapshot del tuo ambiente:

1. Nella console Google Cloud, vai alla pagina Ambienti.

   Vai ad Ambienti

2. Nell'elenco degli ambienti, fai clic sul nome del tuo nell'ambiente Cloud Composer 1. Si apre la pagina Dettagli ambiente.

3. Fai clic su Crea snapshot.

4. Nella finestra di dialogo Crea snapshot, fai clic su Invia. Nella questa guida, salva lo snapshot nel file di Cloud Composer 1 bucket, ma puoi selezionare una località diversa, se vuoi.

5. Attendi che Cloud Composer crei lo snapshot.

gcloud

1. Recupera l'URI del bucket del tuo ambiente Cloud Composer 1:

   1. Esegui questo comando:

      gcloud composer environments describe COMPOSER_1_ENV \
          --location COMPOSER_1_LOCATION \
           --format="value(config.dagGcsPrefix)"
      

      Sostituisci:

      • COMPOSER_1_ENV con il nome dell'ambiente Cloud Composer 1.
      • COMPOSER_1_LOCATION con la regione in cui si trova l'ambiente individuarlo.

   2. Nell'output, rimuovi la cartella /dags. Il risultato è l'URI del bucket del tuo ambiente Cloud Composer 1.

      Ad esempio, modifica gs://us-central1-example-916807e1-bucket/dags a gs://us-central1-example-916807e1-bucket.

2. Crea uno snapshot del tuo ambiente Cloud Composer 1:

   gcloud composer environments snapshots save \
     COMPOSER_1_ENV \
     --location COMPOSER_1_LOCATION \
     --snapshot-location "COMPOSER_1_SNAPSHOTS_FOLDER"
   

   Sostituisci:

   • COMPOSER_1_ENV con il nome del tuo ambiente Cloud Composer 1.
   • COMPOSER_1_LOCATION con la regione in cui si trova l'ambiente Cloud Composer 1.
   • COMPOSER_1_SNAPSHOTS_FOLDER con l'URI del bucket del tuo ambiente Cloud Composer 1. In questa guida, salvi l'istantanea nel del bucket dell'ambiente Cloud Composer 1, ma puoi selezionare un'opzione in un'altra posizione, se vuoi. Se specifichi una posizione personalizzata, gli account di servizio di entrambi gli ambienti devono disporre delle autorizzazioni di lettura e scrittura per la posizione specificata.

Passaggio 6: crea un ambiente Cloud Composer 2

Crea un ambiente Cloud Composer 2. Puoi inizia con una preimpostazione di ambiente che corrisponde alle tue richieste di risorse previste per poi scalare e ottimizzare il tuo ambiente in un secondo momento. ulteriormente.

Non è necessario specificare gli override della configurazione e le variabili di ambiente, poiché in un secondo momento, quando carichi lo snapshot dell'ambiente Cloud Composer 1.

Nota: Cloud Composer carica gli override della configurazione, l'ambiente e pacchetti PyPI dall'ambiente Cloud Composer 1 Cloud Composer 2 senza modificarli o regolarli per garantire la compatibilità. Se i pacchetti PyPI personalizzati causano conflitti di dipendenza, puoi saltarne l'installazione quando carichi lo snapshot.

Alcune opzioni di configurazione di Airflow 1 utilizzano un nome e una sezione diversi in Airflow 2. Per ulteriori informazioni, consulta Modifiche alla configurazione.

Passaggio 7: carica lo snapshot nell'ambiente Cloud Composer 2

Console

Per caricare lo snapshot nell'ambiente Cloud Composer 2:

1. Nella console Google Cloud, vai alla pagina Ambienti.

   Vai ad Ambienti

2. Nell'elenco degli ambienti, fai clic sul nome del tuo nell'ambiente Cloud Composer 2. Si apre la pagina Dettagli ambiente.

3. Fai clic su Carica snapshot.

4. Nella finestra di dialogo Carica snapshot, fai clic su Sfoglia.

5. Seleziona la cartella con lo snapshot. Se utilizzi la posizione predefinita per questa guida, la cartella si trova nel bucket dell'ambiente Cloud Composer 1 nella cartella /snapshots e il suo nome corrisponde al timestamp dell'operazione di salvataggio dello snapshot. Ad esempio: us-central1-example-916807e1-bucket/snapshots_example-project_us-central1_example-environment/2022-01-05T18-59-00.

6. Fai clic su Carica e attendi che Cloud Composer carichi lo snapshot.

gcloud

Carica lo snapshot dell'ambiente Cloud Composer 1 nell'ambiente Cloud Composer 2:

gcloud composer environments snapshots load \
  COMPOSER_2_ENV \
  --location COMPOSER_2_LOCATION \
  --snapshot-path "SNAPSHOT_PATH"

Sostituisci:

• COMPOSER_2_ENV con il nome del tuo ambiente Cloud Composer 2.
• COMPOSER_2_LOCATION con la regione in cui Cloud Composer 2 dell'ambiente di rete.
• SNAPSHOT_PATH con l'URI di Cloud Composer 1 dell'ambiente di deployment, seguito dal percorso dello snapshot. Ad esempio, gs://us-central1-example-916807e1-bucket/snapshots/example-project_us-central1_example-environment_2022-01-05T18-59-00.

Passaggio 8: riattiva i DAG nell'ambiente Cloud Composer 2

Puoi utilizzare una delle seguenti opzioni:

• Nell'interfaccia web di Airflow, vai a DAG e riattiva manualmente tutti i DAG, uno alla volta.

• Utilizza lo script composer_dags per riattivare tutti i DAG:

    python3 composer_dags.py --environment COMPOSER_2_ENV \
    --project PROJECT_ID \
    --location COMPOSER_2_LOCATION \
    --operation unpause
  

  Sostituisci:

  • COMPOSER_2_ENV con il nome del tuo ambiente Cloud Composer 2.
  • PROJECT_ID con l'ID progetto.
  • COMPOSER_2_LOCATION con la regione in cui si trova l'ambiente.

Passaggio 9: controlla se sono presenti errori del DAG

1. Nell'interfaccia web di Airflow, vai a DAG e controlla se sono stati segnalati errori di sintassi dei DAG.

2. Verifica che le esecuzioni del DAG siano pianificate all'ora corretta.

3. Attendi che le esecuzioni del DAG vengano eseguite nell'ambiente Cloud Composer 2 e per verificare che siano andati a buon fine. Se un'esecuzione di DAG è andata a buon fine, non riprendere la messa in pausa nell'ambiente Cloud Composer 1. In caso contrario, nell'ambiente Cloud Composer 1 verrà eseguita un'esecuzione di DAG per la stessa data e ora.

4. Se l'esecuzione di un DAG specifico non riesce, prova a risolvi i problemi del DAG finché non viene eseguito in Cloud Composer 2.

Passaggio 10: monitora l'ambiente Cloud Composer 2

Dopo aver trasferito tutti i DAG e la configurazione nell'ambiente Cloud Composer 2, monitoralo per rilevare potenziali problemi, esecuzioni di DAG non riuscite e l'integrità complessiva dell'ambiente.

Se l'ambiente Cloud Composer 2 viene eseguito senza problemi per un periodo di tempo sufficiente, valuta la possibilità di eliminare Cloud Composer 1 completamente gestito di Google Cloud.

Passaggi successivi

• Risoluzione dei problemi dei DAG
• Risolvere i problemi di creazione dell'ambiente
• Risoluzione dei problemi relativi agli aggiornamenti dell'ambiente
• Utilizzare i pacchetti di backport