Gestire le pipeline utilizzando Gestione del controllo del codice sorgente

Questa pagina descrive come gestire le pipeline utilizzando il controllo del codice sorgente in Cloud Data Fusion tramite i repository Git.

Informazioni sulla gestione del controllo del codice sorgente

Cloud Data Fusion offre la possibilità di progettare visivamente le pipeline per le integrazioni ETL ed ELT. Per una migliore gestione delle pipeline sviluppo e produzione, Cloud Data Fusion consente la gestione del controllo del codice sorgente delle pipeline utilizzando GitHub e altri sistemi di controllo delle versioni.

La gestione del controllo del codice sorgente in Cloud Data Fusion ti consente di:

• Integra ogni spazio dei nomi Cloud Data Fusion con un sistema di controllo della versione.
• Gestisci le tue pipeline in un repository Git centrale.
• Esaminare e controllare le modifiche apportate alla pipeline.
• Ripristina le modifiche alla pipeline.
• Collaborare efficacemente con il team garantendo al contempo un controllo centralizzato.

Importante: la funzionalità di sincronizzazione di una singola pipeline è supportata in Cloud Data Fusion 6.9.0 e versioni successive. La funzionalità di sincronizzazione più pipeline è supportato in Cloud Data Fusion versione 6.10.0 e in un secondo momento.

Prima di iniziare

• La gestione del controllo del codice sorgente supporta l'integrazione con i repository GitHub, Bitbucket Server, Bitbucket Cloud e Gitlab.
• L'autenticazione OAuth di GitHub non è supportata.
• Gestione del controllo del codice sorgente supporta solo pipeline batch.
• Source Control Management supporta solo JSON di progettazione delle pipeline per le operazioni push e pull. Le configurazioni di esecuzione non sono supportate.
• Il limite di dimensioni del repository collegato è di 5 GB.

Avviso: assicurati che il push delle pipeline ai repository Git non includono secret, ad esempio il file JSON dell'account di servizio in testo normale. Per archiviare i secret, ti consigliamo vivamente di utilizzare chiavi sicure.

Importante: per connetterti a un server del sistema di controllo della versione da un'istanza Cloud Data Fusion privata, devi configurare le impostazioni di rete per l'accesso alle origini pubbliche. Per ulteriori informazioni, vedi Crea un'istanza privata e Connettiti a un'origine pubblica da un'istanza privata.

Ruoli e autorizzazioni richiesti

Nota: i ruoli e le autorizzazioni correnti di Cloud Data Fusion predefiniti non coprono necessariamente le autorizzazioni read, write e update_repo_metadata nei repository Git di gestione del controllo della versione.

La gestione del controllo del codice sorgente in Cloud Data Fusion prevede due operazioni chiave:

• Configurazione dei repository di controllo del codice sorgente
• Sincronizzazione delle pipeline con i repository Git mediante operazioni push e pull

Per ottenere le autorizzazioni necessarie per utilizzare la funzionalità di gestione del controllo del codice sorgente, chiedi al tuo di concederti uno dei seguenti ruoli predefiniti progetto:

• Configura il repository di controllo del codice sorgente:

  • Operatore Cloud Data Fusion (roles/datafusion.operator)
  • Editor di Cloud Data Fusion (roles/datafusion.editor)
  • Amministratore di Cloud Data Fusion (roles/datafusion.admin)

• Sincronizza le pipeline utilizzando un'operazione push o pull da uno spazio dei nomi:

  • Operatore Cloud Data Fusion (roles/datafusion.operator)
  • Sviluppatore Cloud Data Fusion (roles/datafusion.developer)
  • Editor di Cloud Data Fusion (roles/datafusion.editor)
  • Amministratore di Cloud Data Fusion (roles/datafusion.admin)

Per ulteriori informazioni sulla concessione dei ruoli, consulta Gestisci accesso.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite altri ruoli predefiniti.

Configurare un repository Git

Per creare un repository Git in GitHub, segui le istruzioni riportate in Crea un repository.

Nota: se utilizzi un'istanza abilitata per Private Service Connect, assicurati che Assicurati che il server Git non sia ospitato nell'intervallo IP 240.0.0.0/16 o 240.1.0.0/16 per evitare problemi di connessione tra Cloud Data Fusion e il server Git.

Per maggiori informazioni sui token di accesso personale in GitHub e altre versioni di controllo, consulta le pagine seguenti:

• Documentazione relativa al token di accesso Cloud di Bitbucket

• Documentazione relativa al token di accesso di Bitbucket Server

• GitHub: Creare un token di accesso personale e Creare un token di accesso personale granulare

• Documentazione relativa ai token di accesso GitLab

Nota: ti consigliamo di utilizzare il token di accesso personale granulare GitHub, come ruoli come Operatore Cloud Data Fusion e l'editor di Cloud Data Fusion possono accedere ai token salvati.

Connetti un repository Git con Cloud Data Fusion

Cloud Data Fusion consente di configurare e connettere il repository Git nella scheda Gestione del controllo del codice sorgente per ogni spazio dei nomi. Per collegare un ambito al tuo repository Git:

Console

1. In Cloud Data Fusion Studio, fai clic su Menu.
2. Fai clic su Amministratore spazio dei nomi.
3. Nella pagina Amministrazione spazio dei nomi, fai clic su Gestione del controllo del codice sorgente. .
4. Fai clic su Collega repository.

5. Inserisci i seguenti dettagli:

   • Provider: scegli un fornitore di servizi Git, come GitHub o GitLab.
   • URL repository: inserisci l'URL in cui si può trovare il repository o rifiutano le richieste in base all'organizzazione a cui si accede. Per GitHub, l'URL del repository èhttps://github.com/HOST/REPO.
   • Ramo predefinito (facoltativo): inserisci il ramo iniziale di Git. Questo branco può essere diverso dal ramo predefinito configurato su GitHub. Questo ramo viene utilizzato per sincronizzare le pipeline, indipendentemente da quello predefinito su GitHub.
   • (Facoltativo) Prefisso percorso: inserisci un prefisso per il nome della pipeline che sia nel repository Git. Ad esempio, se il nome della pipeline è DataFusionQuickStart e specifichi il prefisso namespaceName, la pipeline viene salvata come namespaceName/DataFusionQuickStart nel repository Git.
   • Tipo di autenticazione: Cloud Data Fusion ti consente di utilizzare il token di accesso personalizzato come tipo di autenticazione. Questa opzione viene selezionata automaticamente.
   • Nome token: inserisci un nome che può essere associato al token.
   • Token: inserisci il token fornito dal repository GitHub.
   • (Facoltativo) Nome utente: inserisci un nome utente o un proprietario per il token.

6. Fai clic su Validate (Convalida). Attendi la verifica della connessione.

7. Al termine della configurazione, fai clic su Salva e chiudi per confermarla.

API REST

1. Crea una chiave segreta in Cloud Data Fusion contenente il token di accesso personale.

2. Esegui questo comando:

   curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" 
   ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/securekeys/PASSWORD_SECRET_KEY -X PUT -d '{ "description": "Example Secure Key","data": "PERSONAL_ACCESS_TOKEN"}'
   

   Sostituisci quanto segue:

   • NAMESPACE_ID: l'ID dello spazio dei nomi.
   • PASSWORD_SECRET_KEY: il nome della chiave del secret contenente il token di accesso personale.
   • PERSONAL_ACCESS_TOKEN: token di accesso personale di GitHub.

3. Esegui questo comando:

   curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" 
   ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/repository -X PUT -d '{"test": "TEST_ONLY", "config": {"provider": "PROVIDER_TYPE", "link": "REPO_URL", "defaultBranch": "DEFAULT_BRANCH", "pathPrefix": "PATH_TO_DIRECTORY", "auth": {"type": "AUTH_TYPE", "patConfig": {"passwordName": "PASSWORD_SECRET_KEY", "username": "USER_NAME"}}}}'
   

   Sostituisci quanto segue:

   • NAMESPACE_ID: l'ID dello spazio dei nomi.
   • TEST_ONLY: imposta su true se vuoi solo convalidare la configurazione e non aggiungervi elementi.
   • PROVIDER_TYPE: il nome del provider Git, è GITHUB.
   • REPO_URL: URL del repository da collegare. Utilizza un URL https, ad esempio https://github.com/user/repo.git.
   • DEFAULT_BRANCH: ramo utilizzato per push e le operazioni di pull. Se omesso, viene utilizzato il ramo configurato predefinito nel repository, ad esempio il ramo principale.
   • PATH_TO_DIRECTORY: percorso della directory nel repository in cui sono archiviati i file di configurazione.
   • AUTH_TYPE: il tipo di autenticazione. È supportato solo PAT. Consulta la sezione Token di accesso personale granulare in GitHub.
   • PASSWORD_SECRET_KEY: il nome della chiave segreta contenente il token di accesso personale per il tipo di autenticazione PAT.
   • USER_NAME: puoi omettere questo valore per il tipo di autenticazione PAT.

Sincronizzare le pipeline di Cloud Data Fusion con un repository remoto

Dopo aver configurato un repository Git con uno spazio dei nomi, puoi eseguire il push e il pull delle pipeline e sincronizzarle con il repository Git.

Esegui il push delle pipeline da Cloud Data Fusion al repository Git

Per sincronizzare più pipeline di cui è stato eseguito il deployment da uno spazio dei nomi a un repository Git, segui questi passaggi:

Console

1. In Cloud Data Fusion Studio, fai clic su Menu.
2. Fai clic su Amministratore spazio dei nomi.
3. Nella pagina Amministrazione spazio dei nomi, fai clic su Gestione del controllo del codice sorgente. .
4. Individua il repository Git con cui eseguire la sincronizzazione fai clic su Sincronizza pipeline.
5. Fai clic sulla scheda Pipeline dei namespace.

6. Cerca e seleziona le pipeline che vuoi inviare al repository Git.

   Se la versione più recente della pipeline viene inviata o estratta dal repository Git, lo stato Connesso a Git mostra Connected. Se la pipeline non è mai stata eseguita su GitHub, lo stato Connesso a Git non viene visualizzato (-).

   Se esegui il deployment di una versione più recente di una pipeline già sincronizzata con Repository Git, lo stato Connesso a Git passa da Connected a vuoto (-).

7. Fai clic su Esegui il push al repository.

8. Inserisci un Messaggio di commit e fai clic su OK.

   L'operazione di push viene avviata e viene visualizzato un messaggio che indica che viene eseguito il push nel repository remoto delle pipeline selezionate.

Quando l'operazione di push viene completata correttamente, viene visualizzato un messaggio di conferma che indica il numero di pipeline inviate al repository remoto.

Se l'operazione di push non va a buon fine, controlla la pipeline in GitHub per verificare che all'ultima versione. Per ogni operazione push non riuscita, viene visualizzato un messaggio di errore. Per visualizzare i dettagli dell'errore, espandi il messaggio.

Nota: se un'operazione push per più pipeline è in esecuzione, non può avviare contemporaneamente un'altra operazione push o pull nello spazio dei nomi fino al completamento dell'operazione in corso. L'elenco di pipeline nel Le schede Pipeline dello spazio dei nomi e Pipeline del repository rimangono disattivata fino al completamento dell'operazione di push attuale.

Puoi anche eseguire il push di singole pipeline in un repository Git dalla pipeline Design Studio:

1. In Studio di Cloud Data Fusion, fai clic su Menu.
2. Fai clic su Elenco.
3. Fai clic sulla pipeline di cui vuoi eseguire il push nel repository Git.
4. Nella pagina della pipeline, fai clic su Azioni > Esegui push nel repository.
5. Inserisci un Messaggio di commit e fai clic su OK.

API REST

1. Esegui il push di un insieme di pipeline da Cloud Data Fusion al repository Git:

   curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json"
   ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/repository/apps/push -X POST
   -d '{"apps": ["PIPELINE_NAME_1", "PIPELINE_NAME_2"]}, "commitMessage": "COMMIT_MESSAGE"'
   

   Sostituisci quanto segue:

   • NAMESPACE_ID: l'ID dello spazio dei nomi.
   • PIPELINE_NAME_1 e PIPELINE_NAME_2: dei nomi delle pipeline di cui eseguire il push.
   • COMMIT_MESSAGE: messaggio del commit per il commit Git.

   La risposta contiene l'ID dell'operazione push. Ad esempio:

   RESPONSE
   {
   "id": OPERATION_ID
   }
   

2. Per eseguire il polling dello stato dell'operazione di push, esegui questo comando:

   curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" 
   ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/operations/OPERATION_ID
   

   Sostituisci quanto segue:

   • NAMESPACE_ID: l'ID dello spazio dei nomi.
   • OPERATION_ID: l'ID operazione ricevuto da l'operazione di push.

   La risposta contiene lo stato dell'operazione di push. Ad esempio:

   RESPONSE
   {
   "id": OPERATION_ID
   "done": True/False
   "status": STARTING/RUNNING/SUCCEEDED/FAILED
   "error": {"message": ERROR_MESSAGE, "details":[{"resourceUri": RESOURCE, "message": ERROR_MESSAGE}]}
   }
   

   Per verificare se l'operazione di push è stata completata, controlla done nella risposta. Se l'operazione non è riuscita, controlla error per ulteriori dettagli.

Estrai le pipeline dal repository Git in Cloud Data Fusion

Per sincronizzare più pipeline da un repository Git al tuo spazio dei nomi, segui questi passaggi passaggi:

Console

1. In Cloud Data Fusion Studio, fai clic su Menu.
2. Fai clic su Amministratore spazio dei nomi.
3. Nella pagina Amministrazione spazio dei nomi, fai clic su Gestione del controllo del codice sorgente. .
4. Individua il repository Git con cui vuoi eseguire la sincronizzazione e fai clic su Sincronizzare le pipeline.
5. Fai clic sulla scheda Pipeline del repository. Vengono visualizzate tutte le pipeline archiviate nel repository Git.
6. Cerca e seleziona le pipeline di cui vuoi eseguire il pull dal Git nello spazio dei nomi di Cloud Data Fusion.

7. Fai clic su Esegui il pull dal repository.

   L'operazione di pull viene avviata e viene visualizzato un messaggio che indica che le pipeline selezionate vengono estratte dal repository remoto. Cloud Data Fusion cerca i file JSON nel percorso configurato, li estrae e li esegue come pipeline in Cloud Data Fusion.

Quando l'operazione di estrazione viene completata correttamente, viene visualizzato un messaggio di conferma che indica il numero di pipeline estratte dal repository remoto.

Se l'operazione di pull non riesce, viene visualizzato un messaggio di errore. Per visualizzare dettagli dell'errore, espandi il messaggio.

Nota: se un'operazione pull per più pipeline è in esecuzione, non può avviare contemporaneamente un'altra operazione push o pull nello spazio dei nomi fino al completamento dell'operazione in corso. L'elenco delle pipeline nelle schede Pipeline del namespace e Pipeline del repository rimane disattivato fino al completamento dell'operazione di pull in corso.

Puoi anche estrarre singole pipeline da un repository Git in un ambito dall'area di progettazione della pipeline:

1. In Cloud Data Fusion Studio, fai clic su Menu.
2. Fai clic su Elenco.
3. Fai clic sulla pipeline di cui vuoi eseguire il pull dal repository Git.
4. Nella pagina della pipeline, fai clic su Azioni > Esegui il pull dal repository.

API REST

1. Esegui il pull di un set di pipeline dal repository Git a Cloud Data Fusion:

   curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" 
   ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/repository/apps/pull -X POST -d '{"apps": ["PIPELINE_NAME_1", "PIPELINE_NAME_2"]}'
   

   Sostituisci quanto segue:

   • NAMESPACE_ID: l'ID dello spazio dei nomi.
   • PIPELINE_NAME_1 e PIPELINE_NAME_2: delle pipeline di cui eseguire il pull.

   La risposta contiene l'ID dell'operazione di pull. Ad esempio:

   RESPONSE
   {
   "id": OPERATION_ID
   }
   

2. Per eseguire il polling dello stato dell'operazione di pull, esegui il seguente comando:

   curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" 
   ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/operations/OPERATION_ID
   

   Sostituisci quanto segue:

   • NAMESPACE_ID: l'ID dello spazio dei nomi.
   • OPERATION_ID: l'ID operazione ricevuto da l'operazione di pull.

   La risposta contiene lo stato dell'operazione di pull. Ad esempio:

   RESPONSE
   {
   "id": OPERATION_ID
   "done": True/False
   "status": STARTING/RUNNING/SUCCEEDED/FAILED
   "error": {"message": ERROR_MESSAGE, "details":[{"resourceUri": RESOURCE, "message": ERROR_MESSAGE}]}
   }
   

   Per verificare se l'operazione di pull è stata completata, controlla la proprietà done nella risposta. Se l'operazione non è riuscita, controlla la proprietà error per ulteriori dettagli.

Elimina la configurazione del repository Git

Per eliminare la configurazione del repository Git da uno spazio dei nomi:

Console

1. In Studio di Cloud Data Fusion, fai clic su Menu.
2. Fai clic su Amministratore spazio dei nomi.
3. Nella pagina Amministrazione spazio dei nomi, fai clic su Gestione del controllo del codice sorgente. .
4. Per la configurazione del repository Git che vuoi eliminare, fai clic su > Elimina.

API REST

Elimina la configurazione del repository Git:

curl -H "Authorization: Bearer $(gcloud auth print-access-token)"
${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/repository -X DELETE

Sostituisci NAMESPACE_ID con l'ID del nello spazio dei nomi.

Passaggi successivi

• Scopri di più su Utilizzo di un repository GitHub per gestire le pipeline.