Questa pagina descrive come gestire le pipeline utilizzando il controllo del codice sorgente in Cloud Data Fusion tramite i repository Git.
Informazioni sulla gestione del controllo del codice sorgente
Cloud Data Fusion offre la possibilità di progettare visivamente le pipeline per le integrazioni ETL ed ELT. Per una migliore gestione delle pipeline tra sviluppo e produzione, Cloud Data Fusion consente la gestione del controllo dei file sorgente delle pipeline utilizzando GitHub e altri sistemi di controllo della versione.
La gestione del controllo del codice sorgente in Cloud Data Fusion ti consente di:
- Integra ogni spazio dei nomi Cloud Data Fusion con un sistema di controllo della versione.
- Gestisci le pipeline in un repository Git centrale.
- Rivedi e controlla le modifiche alla pipeline.
- Ripristina le modifiche alla pipeline.
- Collabora in modo efficace con il team garantendo al contempo il controllo centrale.
Prima di iniziare
- La gestione del controllo del codice sorgente supporta l'integrazione con i repository GitHub, Bitbucket Server, Bitbucket Cloud e Gitlab.
- L'autenticazione OAuth di GitHub non è supportata.
- La gestione del controllo del codice sorgente supporta solo le pipeline batch.
- La gestione del controllo del codice sorgente supporta solo i file JSON di progettazione della pipeline per le operazioni push e pull. Le configurazioni di esecuzione non sono supportate.
- Il limite di dimensioni del repository collegato è di 5 GB.
Ruoli e autorizzazioni richiesti
La gestione del controllo del codice sorgente in Cloud Data Fusion consiste in due operazioni chiave:
- Configurazione dei repository di controllo del codice sorgente
- Sincronizzazione delle pipeline con i repository Git tramite operazioni push e pull
Per ottenere le autorizzazioni necessarie per utilizzare la funzionalità di gestione del controllo del codice sorgente, chiedi all'amministratore di concederti uno dei seguenti ruoli predefiniti nel progetto:
Configura il repository del controllo del codice sorgente:
- Operatore Cloud Data Fusion (
roles/datafusion.operator
) - Cloud Data Fusion Editor (
roles/datafusion.editor
) - Amministratore di Cloud Data Fusion (
roles/datafusion.admin
)
- Operatore Cloud Data Fusion (
Sincronizza le pipeline utilizzando l'operazione push o pull da uno spazio dei nomi:
- Operatore Cloud Data Fusion (
roles/datafusion.operator
) - Sviluppatore Cloud Data Fusion (
roles/datafusion.developer
) - Cloud Data Fusion Editor (
roles/datafusion.editor
) - Amministratore di Cloud Data Fusion (
roles/datafusion.admin
)
- Operatore Cloud Data Fusion (
Per ulteriori informazioni sulla concessione dei ruoli, consulta Gestire l'accesso.
Potresti anche ottenere le autorizzazioni richieste tramite altri ruoli predefiniti.
Configurare un repository Git
Per creare un repository Git in GitHub, segui le istruzioni descritte in Creare un repository.
Per saperne di più sui token di accesso personale in GitHub e in altri sistemi di controllo della versione, consulta le seguenti pagine:
Collegare un repository Git a Cloud Data Fusion
Cloud Data Fusion ti consente di configurare e collegare il tuo repository Git nella scheda Gestione controllo del codice sorgente per ogni spazio dei nomi. Per collegare un ambito al tuo repository Git:
Console
- In Studio di Cloud Data Fusion, fai clic su Menu.
- Fai clic su Amministratore del nome spazio.
- Nella pagina Amministrazione del nome di spazio, fai clic sulla scheda Gestione del controllo del codice.
- Fai clic su Collega repository.
Inserisci i seguenti dettagli:
- Provider: scegli un provider di servizi Git, ad esempio GitHub o GitLab.
- URL repository: inserisci l'URL a cui è possibile accedere al repository. Per GitHub, l'URL del repository è
https://github.com/HOST/REPO
. - Branch predefinito (facoltativo): inserisci il branch iniziale di Git. Questo branco può essere diverso dal ramo predefinito configurato su GitHub. Questo ramo viene utilizzato per sincronizzare le pipeline, indipendentemente dal ramo predefinito su GitHub.
- Prefisso percorso (facoltativo): inserisci un prefisso per il nome della pipeline memorizzato nel repository Git. Ad esempio, se il nome della pipeline è
DataFusionQuickStart
e specifichi il prefissonamespaceName
, la pipeline viene salvata comenamespaceName/DataFusionQuickStart
nel repository Git. - Tipo di autenticazione: Cloud Data Fusion ti consente di utilizzare il token di accesso personalizzato come tipo di autenticazione. Questa opzione viene selezionata automaticamente.
- Nome token: inserisci un nome che può essere associato al token.
- Token: inserisci il token fornito dal repository GitHub.
- (Facoltativo) Nome utente: inserisci un nome utente o un proprietario per il token.
Fai clic su Validate (Convalida). Attendi la verifica della connessione.
Al termine della configurazione, fai clic su Salva e chiudi per confermarla.
API REST
Crea una chiave segreta in Cloud Data Fusion contenente il token di accesso personale.
Esegui questo comando:
curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/securekeys/PASSWORD_SECRET_KEY -X PUT -d '{ "description": "Example Secure Key","data": "PERSONAL_ACCESS_TOKEN"}'
Sostituisci quanto segue:
NAMESPACE_ID
: l'ID dello spazio dei nomi.PASSWORD_SECRET_KEY
: il nome della chiave del secret contenente il token di accesso personale.PERSONAL_ACCESS_TOKEN
: token di accesso personale di GitHub.
Esegui questo comando:
curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/repository -X PUT -d '{"test": "TEST_ONLY", "config": {"provider": "PROVIDER_TYPE", "link": "REPO_URL", "defaultBranch": "DEFAULT_BRANCH", "pathPrefix": "PATH_TO_DIRECTORY", "auth": {"type": "AUTH_TYPE", "patConfig": {"passwordName": "PASSWORD_SECRET_KEY", "username": "USER_NAME"}}}}'
Sostituisci quanto segue:
NAMESPACE_ID
: l'ID dello spazio dei nomi.TEST_ONLY
: imposta sutrue
se vuoi solo convalidare la configurazione e non aggiungervi elementi.PROVIDER_TYPE
: il nome del provider Git, ovveroGITHUB
.REPO_URL
: l'URL del repository da collegare. Utilizza un URLhttps
, ad esempiohttps://github.com/user/repo.git
.DEFAULT_BRANCH
: ramo utilizzato per le operazioni push e pull. Se omesso, viene utilizzato il branch configurato predefinito nel repository, ad esempio il branch principale.PATH_TO_DIRECTORY
: percorso della directory nel repository in cui sono archiviati i file di configurazione.AUTH_TYPE
: il tipo di autenticazione. È supportato soloPAT
. Consulta la sezione Token di accesso personale granulare in GitHub.PASSWORD_SECRET_KEY
: il nome della chiave segreta contenente il token di accesso personale per il tipo di autenticazionePAT
.USER_NAME
: puoi omettere questo valore per il tipo di autenticazionePAT
.
Sincronizzare le pipeline di Cloud Data Fusion con un repository remoto
Dopo aver configurato un repository Git con uno spazio dei nomi, puoi eseguire il push e il pull delle pipeline e sincronizzarle con il repository Git.
Esegui il push delle pipeline da Cloud Data Fusion al repository Git
Per sincronizzare più pipeline di cui è stato eseguito il deployment da uno spazio dei nomi a un repository Git:
Console
- In Studio di Cloud Data Fusion, fai clic su Menu.
- Fai clic su Amministratore del nome spazio.
- Nella pagina Amministrazione del nome di spazio, fai clic sulla scheda Gestione del controllo del codice.
- Trova il repository Git con cui vuoi eseguire la sincronizzazione e fai clic su Sincronizza pipeline.
- Fai clic sulla scheda Pipeline dei namespace.
Cerca e seleziona le pipeline che vuoi inviare al repository Git.
Se la versione più recente della pipeline viene inviata o estratta dal repository Git, lo stato Connesso a Git mostra
Connected
. Se la pipeline non è mai stata sottoposta a push su GitHub, lo stato Connesso a Git non viene visualizzato (-
).Se esegui il deployment di una versione più recente di una pipeline già sincronizzata con il repository Git, lo stato Connesso a Git passa da
Connected
a vuoto (-
).Fai clic su Push al repository.
Inserisci un messaggio di commit e fai clic su OK.
Viene avviata l'operazione di push e viene visualizzato un messaggio che indica che le pipeline selezionate vengono spostate nel repository remoto.
Quando l'operazione di push viene completata correttamente, viene visualizzato un messaggio di esito positivo che indica il numero di pipeline inviate al repository remoto.
Se l'operazione di push non va a buon fine, controlla la pipeline in GitHub per verificare se è la versione più recente. Per ogni operazione push non riuscita, viene visualizzato un messaggio di errore. Per visualizzare i dettagli dell'errore, espandi il messaggio di errore.
Puoi anche eseguire il push di singole pipeline in un repository Git dallo studio di progettazione della pipeline:
- In Studio di Cloud Data Fusion, fai clic su Menu.
- Fai clic su Elenco.
- Fai clic sulla pipeline che vuoi inviare al repository Git.
- Nella pagina della pipeline, fai clic su Azioni > Esegui push nel repository.
- Inserisci un messaggio di commit e fai clic su OK.
API REST
Esegui il push di un insieme di pipeline da Cloud Data Fusion al repository Git:
curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/repository/apps/push -X POST -d '{"apps": ["PIPELINE_NAME_1", "PIPELINE_NAME_2"]}, "commitMessage": "COMMIT_MESSAGE"'
Sostituisci quanto segue:
NAMESPACE_ID
: l'ID dello spazio dei nomi.PIPELINE_NAME_1
,PIPELINE_NAME_2
: nomi delle pipeline da spingere.COMMIT_MESSAGE
: messaggio del commit per il commit Git.
La risposta contiene l'ID dell'operazione push. Ad esempio:
RESPONSE { "id": OPERATION_ID }
Per eseguire il polling dello stato dell'operazione di push, esegui il seguente comando:
curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/operations/OPERATION_ID
Sostituisci quanto segue:
NAMESPACE_ID
: l'ID dello spazio dei nomi.OPERATION_ID
: l'ID operazione ricevuto dall'operazione push.
La risposta contiene lo stato dell'operazione di push. Ad esempio:
RESPONSE { "id": OPERATION_ID "done": True/False "status": STARTING/RUNNING/SUCCEEDED/FAILED "error": {"message": ERROR_MESSAGE, "details":[{"resourceUri": RESOURCE, "message": ERROR_MESSAGE}]} }
Per verificare se l'operazione push è stata completata, controlla la proprietà
done
nella risposta. Se l'operazione non è riuscita, controlla la proprietàerror
per maggiori dettagli.
Estrai le pipeline dal repository Git in Cloud Data Fusion
Per sincronizzare più pipeline da un repository Git al tuo spazio dei nomi, segui questi passaggi:
Console
- In Studio di Cloud Data Fusion, fai clic su Menu.
- Fai clic su Amministratore del nome spazio.
- Nella pagina Amministrazione del nome di spazio, fai clic sulla scheda Gestione del controllo del codice.
- Trova il repository Git con cui vuoi eseguire la sincronizzazione e fai clic su Sincronizza pipeline.
- Fai clic sulla scheda Pipeline del repository. Vengono visualizzate tutte le pipeline archiviate nel repository Git.
- Cerca e seleziona le pipeline che vuoi estrarre dal repository Git nel tuo spazio dei nomi Cloud Data Fusion.
Fai clic su Esegui il pull dal repository.
Viene avviata l'operazione di pull e viene visualizzato un messaggio che indica che le pipeline selezionate vengono estratte dal repository remoto. Cloud Data Fusion cerca i file JSON nel percorso configurato, li estrae e li esegue come pipeline in Cloud Data Fusion.
Quando l'operazione di estrazione viene completata correttamente, viene visualizzato un messaggio di conferma che indica il numero di pipeline estratte dal repository remoto.
Se l'operazione di pull non riesce, viene visualizzato un messaggio di errore. Per visualizzare i dettagli dell'errore, espandi il messaggio di errore.
Puoi anche estrarre singole pipeline da un repository Git in un ambito dall'area di progettazione della pipeline:
- In Studio di Cloud Data Fusion, fai clic su Menu.
- Fai clic su Elenco.
- Fai clic sulla pipeline che vuoi estrarre dal repository Git.
- Nella pagina della pipeline, fai clic su Azioni > Esegui il pull dal repository.
API REST
Estrai un insieme di pipeline dal repository Git in Cloud Data Fusion:
curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/repository/apps/pull -X POST -d '{"apps": ["PIPELINE_NAME_1", "PIPELINE_NAME_2"]}'
Sostituisci quanto segue:
NAMESPACE_ID
: l'ID dello spazio dei nomi.PIPELINE_NAME_1
,PIPELINE_NAME_2
: nomi delle pipeline da estrarre.
La risposta contiene l'ID dell'operazione di estrazione. Ad esempio:
RESPONSE { "id": OPERATION_ID }
Per eseguire il polling dello stato dell'operazione di pull, esegui il seguente comando:
curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/operations/OPERATION_ID
Sostituisci quanto segue:
NAMESPACE_ID
: l'ID dello spazio dei nomi.OPERATION_ID
: l'ID operazione ricevuto dall'operazione pull.
La risposta contiene lo stato dell'operazione di estrazione. Ad esempio:
RESPONSE { "id": OPERATION_ID "done": True/False "status": STARTING/RUNNING/SUCCEEDED/FAILED "error": {"message": ERROR_MESSAGE, "details":[{"resourceUri": RESOURCE, "message": ERROR_MESSAGE}]} }
Per verificare se l'operazione di pull è stata completata, controlla la proprietà
done
nella risposta. Se l'operazione non è riuscita, controlla la proprietàerror
per maggiori dettagli.
Elimina la configurazione del repository Git
Per eliminare la configurazione del repository Git da un ambito:
Console
- In Studio di Cloud Data Fusion, fai clic su Menu.
- Fai clic su Amministratore del nome spazio.
- Nella pagina Amministrazione del nome di spazio, fai clic sulla scheda Gestione del controllo del codice.
- Per la configurazione del repository Git che vuoi eliminare, fai clic su > Elimina.
API REST
Elimina la configurazione del repository Git:
curl -H "Authorization: Bearer $(gcloud auth print-access-token)"
${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/repository -X DELETE
Sostituisci NAMESPACE_ID con l'ID dello spazio dei nomi.
Passaggi successivi
- Scopri di più su come utilizzare un repository GitHub per gestire le pipeline.