Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Questa guida spiega come creare una pipeline CI/CD per testare, sincronizzare ed eseguire il deployment dei DAG nel tuo ambiente Cloud Composer dal tuo repository GitHub.
Se vuoi sincronizzare solo i dati di altri servizi, vedi Trasferire dati da altri servizi.
Panoramica della pipeline CI/CD
![Diagramma dell'architettura che mostra i passaggi del flusso. Le operazioni preliminari e la revisione PR si trovano nella sezione GitHub, mentre la sincronizzazione DAG e la verifica manuale del DAG si trovano nella sezione Google Cloud.](https://cloud.google.com/static/composer/docs/images/dag-cicd-integration-architecture.png?authuser=1&hl=it)
La pipeline CI/CD per testare, sincronizzare ed eseguire il deployment dei DAG prevede i seguenti passaggi:
Puoi apportare una modifica a un DAG ed eseguirne il push in un ramo di sviluppo nel tuo repository.
Apri una richiesta di pull per il ramo principale del repository.
Cloud Build esegue test delle unità per verificare che il DAG sia valido.
La richiesta di pull è stata approvata e unita al ramo principale del repository.
Cloud Build sincronizza il tuo ambiente Cloud Composer di sviluppo con queste nuove modifiche.
Verifichi che il DAG si comporti come previsto nel tuo ambiente di sviluppo.
Se il DAG funziona come previsto, lo carichi nel tuo ambiente Cloud Composer di produzione.
Obiettivi
Prima di iniziare
Questa guida presuppone che tu stia lavorando con due ambienti Cloud Composer identici: un ambiente di sviluppo e un ambiente di produzione.
Ai fini di questa guida, configuri una pipeline CI/CD solo per il tuo ambiente di sviluppo. Assicurati che l'ambiente che utilizzi non sia un ambiente di produzione.
Questa guida presuppone che i DAG e i relativi test siano archiviati in un repository GitHub.
La pipeline CI/CD di esempio mostra i contenuti di un repository di esempio. I DAG e i test sono archiviati nella directory
dags/
, con i file dei requisiti, il file dei vincoli e i file di configurazione di Cloud Build archiviati al livello più alto. L'utilità di sincronizzazione DAG e i relativi requisiti si trovano nella directoryutils
.
Creare un job di controllo prima dell'invio e i test delle unità
Il primo job Cloud Build esegue un controllo pre-invio, che esegue i test delle unità per i DAG.
Aggiungi test delle unità
Se non lo hai già fatto, crea
i test delle unità per i DAG. Salva questi test insieme ai DAG nel tuo repository, ciascuno con il suffisso _test
. Ad esempio, il file di test per il DAG in example_dag.py
è example_dag_test.py
. Questi sono i test che vengono eseguiti come controllo pre-invio nel tuo repository.
Crea una configurazione YAML di Cloud Build per il controllo pre-invio
Nel tuo repository, crea un file YAML denominato test-dags.cloudbuild.yaml
che
configura il tuo job Cloud Build per i controlli pre-invio. Ci sono tre passaggi:
- Installa le dipendenze necessarie dai DAG.
- Installa le dipendenze necessarie per i test delle unità.
- Esegui i test del DAG.
Crea il trigger di Cloud Build per il controllo pre-invio
Segui la guida Creazione di repository da GitHub per creare un trigger basato su app GitHub con le seguenti configurazioni:
Nome:
test-dags
Evento: richiesta di pull
Origine - Repository: scegli il repository
Origine - Ramo di base:
^main$
(modificamain
con il nome del ramo di base del repository, se necessario)Origine - Controllo dei commenti: non obbligatorio
Configurazione build - File di configurazione di Cloud Build:
/test-dags.cloudbuild.yaml
(il percorso del file di build)
Crea un job di sincronizzazione dei DAG e aggiungi lo script di utilità dei DAG
Poi, configura un job Cloud Build che esegue uno script di utilità dei DAG. Lo script di utilità in questo job sincronizza i DAG con il tuo ambiente Cloud Composer dopo che sono stati uniti al ramo principale nel tuo repository.
Aggiungi lo script di utilità dei DAG
Aggiungi lo script dell'utilità DAG al tuo repository. Questo script di utilità copia tutti i file DAG nella directory dags/
del tuo
repository in una directory temporanea, ignorando tutti i file Python non DAG. Lo script utilizza quindi la libreria client di Cloud Storage per caricare tutti i file da quella directory temporanea nella directory dags/
del bucket dell'ambiente Cloud Composer.
Crea una configurazione YAML di Cloud Build per la sincronizzazione dei DAG
Nel tuo repository, crea un file YAML denominato add-dags-to-composer.cloudbuild.yaml
che configura il tuo job Cloud Build per la sincronizzazione dei DAG. Al suo interno, sono previsti due passaggi:
Installa le dipendenze necessarie dallo script dell'utilità dei DAG.
Esegui lo script di utilità per sincronizzare i DAG nel tuo repository con il tuo ambiente Cloud Composer.
crea il trigger di Cloud Build
Segui la guida Creazione di repository da GitHub per creare un trigger basato su app GitHub con le seguenti configurazioni:
Nome:
add-dags-to-composer
Evento: push a un ramo
Origine - Repository: scegli il repository
Origine - Ramo di base:
^main$
(modificamain
con il nome del ramo di base del repository, se necessario)Origine. Filtro dei file inclusi (glob):
dags/**
Configurazione build - File di configurazione di Cloud Build:
/add-dags-to-composer.cloudbuild.yaml
(il percorso del file di build)
Nella configurazione avanzata, aggiungi due variabili di sostituzione:
_DAGS_DIRECTORY
: la directory in cui si trovano i DAG nel tuo repository. Se utilizzi il repository di esempio di questa guida, si tratta didags/
._DAGS_BUCKET
: il bucket Cloud Storage che contiene la directorydags/
nel tuo ambiente di sviluppo Cloud Composer. Ometti il prefissogs://
. Ad esempio:us-central1-example-env-1234ab56-bucket
.
Testa la tua pipeline CI/CD
In questa sezione, segui un flusso di sviluppo DAG che utilizza i trigger di Cloud Build appena creati.
Esegui un job di preregistrazione
Crea una richiesta di pull al ramo principale per testare la build. Individua il controllo prima dell'invio nella pagina. Fai clic su Dettagli e scegli Visualizza altri dettagli su Google Cloud Build per visualizzare i log di build nella console Google Cloud.
![Screenshot di un controllo GitHub chiamato test-dags con una freccia rossa che punta al nome del progetto tra parentesi](https://cloud.google.com/static/composer/docs/images/dag-cicd-integration-github-check.png?authuser=1&hl=it)
Se il controllo prima dell'invio non è andato a buon fine, vedi Risolvere gli errori delle build.
Verifica che il DAG funzioni nel tuo ambiente di sviluppo Cloud Composer
Una volta approvata la richiesta di pull, uniscila al ramo principale. Utilizza la console Google Cloud per visualizzare i risultati della build. Se disponi di molti trigger Cloud Build, puoi filtrare le build in base al nome trigger add-dags-to-composer
.
Una volta completato il job di sincronizzazione di Cloud Build, il DAG sincronizzato viene visualizzato nell'ambiente di sviluppo Cloud Composer. Qui puoi convalidare il funzionamento del DAG come previsto.
Aggiungi il DAG al tuo ambiente di produzione
Quando il DAG si comporta come previsto, aggiungilo manualmente all'ambiente di produzione. A questo scopo, carica il file DAG nella directory dags/
nel bucket dell'ambiente di produzione Cloud Composer.
Se il job di sincronizzazione DAG non è riuscito o se il DAG non si comporta come previsto nel tuo ambiente di sviluppo Cloud Composer, consulta Gestire gli errori di build.
Gestione degli errori delle build
Questa sezione spiega come risolvere scenari comuni di errore delle build.
Che cosa succede se il controllo prima dell'invio non è andato a buon fine?
Dalla richiesta di pull, fai clic su Dettagli e scegli Visualizza altri dettagli su Google Cloud Build per visualizzare i log di build nella console Google Cloud. Utilizza questi log per eseguire il debug del problema con il tuo DAG. Una volta risolti i problemi, esegui il commit della correzione ed eseguine il push al ramo. Il controllo pre-invio viene eseguito di nuovo e puoi continuare a eseguire l'iterazione utilizzando i log come strumento di debug.
Cosa succede se il mio job di sincronizzazione DAG non riesce?
Utilizza la console Google Cloud per visualizzare i risultati della build. Se disponi di molti trigger Cloud Build, puoi filtrare le build in base al nome trigger add-dags-to-composer
. Esamina i log del job di build e correggi gli errori. Se hai bisogno di ulteriore assistenza per risolvere gli errori, utilizza i canali di assistenza.
Cosa succede se il mio DAG non funziona correttamente nel mio ambiente Cloud Composer?
Se il DAG non funziona come previsto nel tuo ambiente Cloud Composer di sviluppo, non promuovere manualmente il DAG nell'ambiente Cloud Composer di produzione. Esegui invece una delle seguenti operazioni:
- Ripristina la richiesta di pull con le modifiche che hanno danneggiato il DAG per ripristinarlo allo stato immediatamente prima delle modifiche (verranno ripristinati anche tutti gli altri file nella richiesta di pull).
- Crea una nuova richiesta di pull per ripristinare manualmente le modifiche al DAG non funzionante.
- Crea una nuova richiesta di pull per correggere gli errori nel tuo DAG.
Seguendo uno di questi passaggi viene attivato un nuovo controllo prima dell'invio e, al momento dell'unione, il job di sincronizzazione DAG.