Pianifica le esecuzioni con configurazioni dei flussi di lavoro

Questo documento mostra come creare una configurazione di flusso di lavoro in Dataform per pianificare e configurare le esecuzioni di flussi di lavoro SQL. Puoi utilizzare configurazioni specifiche per eseguire flussi di lavoro SQL di Dataform in base a una pianificazione.

Informazioni sulle configurazioni dei flussi di lavoro

Per pianificare le esecuzioni di Dataform di tutte le azioni dei flussi di lavoro SQL o selezionate in BigQuery, puoi creare configurazioni dei flussi di lavoro. In una configurazione di flusso di lavoro, selezioni una configurazione di release di compilazione, selezioni le azioni del flusso di lavoro SQL da eseguire e imposti la pianificazione dell'esecuzione.

Poi, durante un'esecuzione pianificata della configurazione del flusso di lavoro, Dataform esegue il deployment della tua selezione di azioni dall'ultima compilazione che genera la configurazione della release su BigQuery. Puoi anche attivare manualmente l'esecuzione di una configurazione di flusso di lavoro con flowConfigs dell'API Dataform.

La configurazione di un flusso di lavoro Dataform contiene le seguenti impostazioni di esecuzione:

  • ID della configurazione del flusso di lavoro
  • Configurazione della release

  • Account di servizio

    Account di servizio associato alla configurazione del flusso di lavoro. Puoi selezionare l'account di servizio Dataform predefinito, un account di servizio associato al progetto Google Cloud o inserire manualmente un account di servizio diverso. Per impostazione predefinita, le configurazioni dei flussi di lavoro utilizzano gli stessi account di servizio dei relativi repository.

  • Azioni del flusso di lavoro SQL da eseguire:

    • Tutte le azioni
    • Selezione di azioni
    • Selezione di tag

  • Pianificazione dell'esecuzione e fuso orario

Prima di iniziare

  1. Nella console Google Cloud, vai alla pagina Dataform.

    Vai alla pagina Dataform

  2. Seleziona o crea un repository.

  3. Crea una configurazione di release.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per creare una configurazione del flusso di lavoro, chiedi all'amministratore di concederti il ruolo IAM Editor Dataform (roles/dataform.editor) sui repository. Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.

Potresti anche essere in grado di ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Per utilizzare un account di servizio diverso da quello predefinito di Dataform, concedi l'accesso all'account di servizio personalizzato.

Crea una configurazione del flusso di lavoro

Per creare una configurazione del flusso di lavoro Dataform, segui questi passaggi:

  1. Nel repository, vai a Release e pianificazione.
  2. Nella sezione Configurazioni del flusso di lavoro, fai clic su Crea.

  3. Nel riquadro Crea configurazione del flusso di lavoro, nel campo ID configurazione, inserisci un ID univoco per la configurazione del flusso di lavoro.

    Gli ID possono includere solo numeri, lettere, trattini e trattini bassi.

  4. Nel menu a discesa Configurazione release, seleziona una configurazione della release di compilazione.

  5. (Facoltativo) Nel campo Frequenza, inserisci la frequenza delle esecuzioni nel formato Unix-cron.

    Per assicurarti che Dataform esegua l'ultimo risultato della compilazione nella configurazione della release corrispondente, mantieni una pausa di almeno un'ora tra il momento della creazione del risultato della compilazione e quello dell'esecuzione pianificata.

  6. Nel menu a discesa Account di servizio, seleziona un account di servizio per la configurazione del flusso di lavoro.

    Nel menu a discesa, puoi selezionare l'account di servizio Dataform predefinito o qualsiasi account di servizio associato al progetto Google Cloud a cui hai accesso. Se non selezioni un account di servizio, la configurazione del flusso di lavoro utilizza l'account di servizio del repository.

  7. (Facoltativo) Nel menu a discesa Fuso orario, seleziona il fuso orario per le esecuzioni.

    Il fuso orario predefinito è UTC.

  8. Seleziona le azioni del flusso di lavoro SQL da eseguire:

    1. Per eseguire l'intero flusso di lavoro SQL, fai clic su Tutte le azioni.
    2. Per eseguire le azioni selezionate nel flusso di lavoro SQL, fai clic su Selezione di azioni, quindi seleziona le azioni.
    3. Per eseguire azioni con i tag selezionati, fai clic su Selezione dei tag, poi seleziona i tag.
    4. (Facoltativo) Per eseguire le azioni o i tag selezionati e le relative dipendenze, seleziona l'opzione Includi le dipendenze.
    5. (Facoltativo) Per eseguire le azioni o i tag selezionati e i relativi elementi dipendenti, seleziona l'opzione Includi gli elementi dipendenti.
    6. (Facoltativo) Per ricreare tutte le tabelle da zero, seleziona l'opzione Esegui con aggiornamento completo.

    Senza questa opzione, Dataform aggiorna le tabelle incrementali senza ricrearle da zero.

  9. Fai clic su Crea.



Ad esempio, la seguente configurazione del flusso di lavoro esegue azioni con il tag hourly ogni ora nel fuso orario CEST:

  • ID configurazione: production-hourly
  • Configurazione della release: -
  • Frequenza: 0 * * * *
  • Fuso orario: Central European Summer Time (CEST)
  • Selezione delle azioni del flusso di lavoro SQL: selezione dei tag, tag hourly

Modifica la configurazione di un flusso di lavoro

Per modificare la configurazione di un flusso di lavoro:

  1. Nel repository, vai a Release e pianificazione.
  2. In base alla configurazione del flusso di lavoro che vuoi modificare, fai clic sul menu Altro e poi su Modifica.
  3. Nel riquadro Modifica configurazione del flusso di lavoro, modifica le impostazioni di configurazione della release, quindi fai clic su Salva.

Elimina una configurazione di flusso di lavoro

Per eliminare la configurazione di un flusso di lavoro:

  1. Nel repository, vai a Release e pianificazione.
  2. In base alla configurazione del flusso di lavoro che vuoi eliminare, fai clic sul menu Altro, quindi su Elimina.
  3. Nella finestra di dialogo Elimina configurazione release, fai clic su Elimina.

Passaggi successivi