Pianificare le esecuzioni con le configurazioni dei flussi di lavoro

Questo documento spiega come creare una configurazione del flusso di lavoro in Dataform per pianificare e configurare le esecuzioni del flusso di lavoro SQL. Puoi utilizzare le configurazioni del flusso di lavoro per eseguire flussi di lavoro SQL Dataform in base a una pianificazione.

Informazioni sulle configurazioni dei flussi di lavoro

Per pianificare le esecuzioni di Dataform di tutte o di alcune azioni del flusso di lavoro SQL in BigQuery, puoi creare configurazioni del flusso di lavoro. In una configurazione del flusso di lavoro, seleziona una configurazione della release di compilazione, le azioni del flusso di lavoro SQL da eseguire e la pianificazione dell'esecuzione.

Poi, durante un'esecuzione pianificata della configurazione del flusso di lavoro, Dataform esegue il deployment della selezione di azioni dal risultato della compilazione più recente nella configurazione della release in BigQuery. Puoi anche attivare manualmente l'esecuzione di una configurazione del flusso di lavoro con workflowConfigs dell'API Dataform.

Una configurazione del flusso di lavoro Dataform contiene le seguenti impostazioni di esecuzione:

  • ID della configurazione del flusso di lavoro
  • Configurazione della release

  • Service account

    Account di servizio associato alla configurazione del flusso di lavoro. Puoi selezionare l'account di servizio Dataform predefinito, un account di servizio associato al tuo progetto Google Cloud o inserire manualmente un altro account di servizio. Per impostazione predefinita, le configurazioni dei flussi di lavoro utilizzano gli stessi account di servizio dei relativi repositories.

  • Azioni del flusso di lavoro SQL da eseguire:

    • Tutte le azioni
    • Selezione di azioni
    • Selezione di tag

  • Pianificazione dell'esecuzione e fuso orario

Prima di iniziare

  1. Nella console Google Cloud, vai alla pagina Dataform.

    Vai alla pagina Dataform

  2. Seleziona o crea un repository.

  3. Crea una configurazione della release.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per creare una configurazione del flusso di lavoro, chiedi all'amministratore di concederti il ruolo IAM Amministratore Dataform (roles/dataform.admin) nei repository. Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Per utilizzare un account di servizio diverso dall'account di servizio Dataform predefinito, concedi l'accesso all'account di servizio personalizzato.

Crea una configurazione di flusso di lavoro

Per creare una configurazione del flusso di lavoro di Dataform:

  1. Nel repository, vai a Uscite e pianificazione.
  2. Nella sezione Configurazioni dei flussi di lavoro, fai clic su Crea.

  3. Nel riquadro Crea configurazione del flusso di lavoro, inserisci un ID univoco per la configurazione del flusso di lavoro nel campo ID configurazione.

    Gli ID possono includere solo numeri, lettere, trattini e trattini bassi.

  4. Nel menu a discesa Configurazione della release, seleziona una configurazione della release della compilazione.

  5. (Facoltativo) Nel campo Frequenza, inserisci la frequenza delle esecuzioni nel formato unix-cron.

    Per assicurarti che Dataform esegua il risultato di compilazione più recente nella configurazione della release corrispondente, mantieni un intervallo minimo di 1 ora tra il momento della creazione del risultato di compilazione e il momento dell'esecuzione pianificata.

  6. Nel menu a discesa Account di servizio, seleziona un account di servizio per la configurazione del flusso di lavoro.

    Nel menu a discesa, puoi selezionare l'account di servizio Dataform predefinito o qualsiasi account di servizio associato al tuo progetto Google Cloud a cui hai accesso. Se non selezioni un account di servizio, la configurazione del flusso di lavoro utilizza l'account di servizio del repository.

  7. (Facoltativo) Nel menu a discesa Fuso orario, seleziona il fuso orario per le esecuzioni.

    Il fuso orario predefinito è UTC.

  8. Seleziona le azioni del flusso di lavoro SQL da eseguire:

    1. Per eseguire l'intero flusso di lavoro SQL, fai clic su Tutte le azioni.
    2. Per eseguire azioni selezionate nel flusso di lavoro SQL, fai clic su Selezione di azioni e poi seleziona le azioni.
    3. Per eseguire azioni con i tag selezionati, fai clic su Selezione di tag e seleziona i tag.
    4. (Facoltativo) Per eseguire le azioni o i tag selezionati e le relative dipendenze, seleziona l'opzione Includi dipendenze.
    5. (Facoltativo) Per eseguire le azioni o i tag selezionati e i relativi elementi dipendenti, seleziona l'opzione Includi elementi dipendenti.
    6. (Facoltativo) Per ricostruire tutte le tabelle da zero, seleziona l'opzione Esegui con aggiornamento completo.

    Senza questa opzione, Dataform aggiorna le tabelle incrementali senza ristrutturarle da zero.

  9. Fai clic su Crea.



Ad esempio, la seguente configurazione del flusso di lavoro esegue azioni con il tag hourly ogni ora nel fuso orario CEST:

  • ID configurazione: production-hourly
  • Configurazione della release: -
  • Frequenza: 0 * * * *
  • Fuso orario: Central European Summer Time (CEST)
  • Selezione di azioni del flusso di lavoro SQL: selezione di tag, tag hourly

Modificare una configurazione del flusso di lavoro

Per modificare una configurazione del flusso di lavoro:

  1. Nel repository, vai a Uscite e pianificazione.
  2. Accanto alla configurazione del flusso di lavoro che vuoi modificare, fai clic sul menu Altro e poi su Modifica.
  3. Nel riquadro Modifica configurazione del flusso di lavoro, modifica le impostazioni della configurazione della release e poi fai clic su Salva.

Eliminare una configurazione del flusso di lavoro

Per eliminare una configurazione del flusso di lavoro:

  1. Nel repository, vai a Uscite e pianificazione.
  2. Accanto alla configurazione del flusso di lavoro che vuoi eliminare, fai clic sul menu Altro e poi su Elimina.
  3. Nella finestra di dialogo Elimina configurazione della release, fai clic su Elimina.

Passaggi successivi