Orchestrare le preparazioni dei dati

Questo documento descrive come orchestrare le pipeline di preparazione dei dati, incluso come eseguire esecuzioni manuali e pianificate.

Le preparazioni dei dati sono basate su Dataform.

Le preparazioni dei dati vengono eseguite utilizzando account di servizio Dataform personalizzati, che selezioni quando configuri pianificazioni o esecuzioni di test. Per ulteriori informazioni, consulta Informazioni sui service account in Dataform.

Le modifiche apportate ai passaggi di preparazione dei dati non vengono salvate automaticamente. Devi salvare ed eseguire il deployment delle modifiche prima che possano essere eseguite con una pianificazione. Le pianificazioni eseguono sempre la versione di cui è stato eseguito il deployment più recente della preparazione dei dati ed esclendono eventuali modifiche non di cui potresti essere in fase di sviluppo.

Prima di iniziare

Prima di iniziare, crea una preparazione dei dati.

Ruoli obbligatori

Per eseguire la preparazione dei dati, devi concedere i ruoli al account di servizio che prevedi di utilizzare per eseguire le esecuzioni di preparazione dei dati. Per ulteriori informazioni, consulta i ruoli richiesti.

Sviluppare una preparazione dei dati

Durante lo sviluppo di una preparazione dei dati, puoi eseguire manualmente i passaggi e controllare l'output prima di implementare le modifiche in produzione. Puoi testare la versione corrente in fase di sviluppo sui tuoi dati, mentre BigQuery continua a eseguire la versione di cui è stato eseguito il deployment più recente, in base a una pianificazione. Prima di poter eseguire l'esecuzione, devi configurare la destinazione e correggere eventuali errori di convalida.

Eseguire manualmente una preparazione dei dati in fase di sviluppo

Per testare i passaggi di preparazione dei dati e convalidare i risultati nella tabella di destinazione, esegui la preparazione dei dati manualmente dall'editor di preparazione dei dati:

  1. Nella console Google Cloud , vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel riquadro Explorer, espandi il progetto e la cartella Preparazione dei dati. Fai clic sul nome della preparazione dei dati da eseguire.

  3. Configura le autorizzazioni per l'account di servizio per l'esecuzione:

    1. Nella barra degli strumenti dell'editor di preparazione dei dati, tieni premuto il cursore sopra l'opzione Esegui disattivata.
    2. Nella finestra di dialogo visualizzata con le informazioni sulla configurazione dellaccount di servizio, fai clic su Configura.
    3. Nella finestra di dialogo Impostazioni account di servizio, seleziona un account di servizio.
    4. Se il account di servizio ha bisogno di autorizzazioni aggiuntive, concedi i ruoli richiesti facendo clic su Concede tutto.
    5. Fai clic su Salva.

  4. (Facoltativo) Per aggiornare l'account di servizio per le esecuzioni future, vai alla barra degli strumenti dell'editor di preparazione dei dati e fai clic su Altro > Configura l'esperienza di esecuzione ora, quindi aggiorna e salva le impostazioni dell'account di servizio.

  5. Correggi gli eventuali errori di convalida visualizzati.

  6. Nella barra degli strumenti dell'editor di preparazione dei dati, fai clic su Esegui.

  7. Nella finestra di dialogo Esegui ora, fai clic su Conferma per confermare che questa esecuzione manuale scrive i dati in una tabella di destinazione, che potresti anche utilizzare per le esecuzioni pianificate.

    L'esecuzione esegue quindi i passaggi e carica l'output nella destinazione.

  8. (Facoltativo) Al termine dell'esecuzione, puoi visualizzare i dettagli relativi all'esecuzione nel riquadro Esecuzioni.

Esegui il deployment di una preparazione dei dati

Per pianificare le esecuzioni di una versione della preparazione dei dati, devi prima eseguirne il deployment. Le pianificazioni eseguono la versione di cui è stato eseguito il deployment più di recente.

Per eseguire il deployment di una preparazione dei dati:

  1. Nella console Google Cloud , vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel riquadro Explorer, espandi il progetto e la cartella Preparazione dei dati. Fai clic sul nome della preparazione dei dati scelta.

    Si apre l'editor di preparazione dei dati.

  3. Nella barra degli strumenti dell'editor di preparazione dei dati, fai clic su Esegui il deployment.

Crea una pianificazione

Per creare una pianificazione che esegua i passaggi di preparazione dei dati di cui è stato eseguito il deployment e carichi i dati preparati nella tabella di destinazione, pianifica un'esecuzione della preparazione dei dati. Per pianificare l'esecuzione, devi configurare la destinazione e correggere eventuali errori di convalida.

Per creare una pianificazione:

  1. Nella console Google Cloud , vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel riquadro Explorer, espandi il progetto e la cartella Preparazione dei dati. Fai clic sul nome della preparazione dei dati da pianificare.

  3. Nella barra degli strumenti dell'editor di preparazione dei dati, fai clic su Pianifica.

  4. Inserisci un nome per la pianificazione.

  5. Inserisci il nome dell'account di servizio associato all'esecuzione.

  6. Pianifica una frequenza.

  7. Fai clic su Crea programmazione.

Eseguire manualmente una preparazione dei dati pianificata

Quando esegui manualmente una preparazione dei dati in una pianificazione selezionata, BigQuery esegue la preparazione dei dati una volta, indipendentemente dalla pianificazione.

Per eseguire manualmente una preparazione dei dati pianificata:

  1. Nella console Google Cloud , vai alla pagina Pianificazione.

    Vai a Pianificazione

  2. Fai clic sul nome della pianificazione della preparazione dei dati selezionata.

  3. Nella pagina Dettagli pianificazione, fai clic su Esegui.

Visualizza pianificazioni

Puoi visualizzare le pianificazioni della preparazione dei dati dall'editor di preparazione dei dati o dalla pagina Pianificazione.

Editor di preparazione dei dati

Per visualizzare la pianificazione di una preparazione dei dati:

  1. Nella barra degli strumenti dell'editor di preparazione dei dati, fai clic su pianificazione Visualizza pianificazione.
  2. (Facoltativo) Per visualizzare la cronologia della pianificazione, fai clic su Visualizza le esecuzioni passate.

Pagina Programmazione

Per visualizzare tutte le pianificazioni di preparazione dei dati nel progetto:

  1. Nella console Google Cloud , vai alla pagina Pianificazione.

    Vai a Pianificazione

  2. (Facoltativo) Per visualizzare la cronologia delle esecuzioni e i dettagli di una pianificazione selezionata, fai clic sul nome della pianificazione. La cronologia delle esecuzioni manuali non viene mostrata.

Modificare una pianificazione

Puoi modificare una pianificazione dall'editor di preparazione dei dati o dalla pagina Pianificazione.

Editor di preparazione dei dati

Per modificare una pianificazione:

  1. Nella barra degli strumenti dell'editor di preparazione dei dati, fai clic su pianificazione Visualizza pianificazione.
  2. Nella finestra di dialogo Pianifica la preparazione dei dati, fai clic su Modifica e poi aggiornata la pianificazione.
  3. Fai clic su Aggiorna pianificazione.

Pagina Programmazione

Per modificare una pianificazione:

  1. Nella console Google Cloud , vai alla pagina Pianificazione.

    Vai a Pianificazione

  2. Fai clic sul nome della pianificazione della preparazione dei dati selezionata.

  3. Nella pagina Dettagli pianificazione, fai clic su Modifica.

  4. Fai clic su Visualizza pianificazione.

  5. Nella finestra di dialogo Pianifica la preparazione dei dati, fai clic su Modifica e poi aggiornata la pianificazione.

  6. Fai clic su Aggiorna pianificazione.

Elimina una pianificazione

Per eliminare definitivamente una pianificazione per una preparazione dei dati selezionata:

  1. Nella console Google Cloud , vai alla pagina Pianificazione.

    Vai a Pianificazione

  2. Nella riga contenente la pianificazione, fai clic su more_vert Azioni > Elimina.

Passaggi successivi