Pianifica le esecuzioni di produzione
Questa guida rapida illustra i seguenti passaggi per pianificare le esecuzioni di produzione in Dataform:
- Crea un repository Dataform.
- Concedi a Dataform l'accesso a BigQuery.
Crea una configurazione della release per configurare l'ambiente di produzione.
Crea una configurazione della release
production
per impostare la frequenza di creazione dei risultati di compilazioneproduction
.-
Crea una configurazione del flusso di lavoro
production
, seleziona la configurazione della releaseproduction
e imposta una pianificazione per l'esecuzione dei risultati della compilazioneproduction
.
Prima di iniziare
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the BigQuery and Dataform APIs.
Ruoli obbligatori
Per ottenere le autorizzazioni necessarie per eseguire tutte le attività di questo tutorial, chiedi all'amministratore di concederti i seguenti ruoli IAM:
-
Amministratore Dataform (
roles/dataform.admin
) nei repository -
Dataform Editor (
roles/dataform.editor
) su workspace e workflowInvocations
Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.
Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.
Crea un repository Dataform
Nella console Google Cloud, vai alla pagina Dataform.
Fai clic su
Crea repository.Nella pagina Crea repository:
Nel campo ID repository, inserisci
quickstart-production
.Nell'elenco Regione, seleziona
europe-west4
.Fai clic su Crea.
Fai clic su Fine.
Concedi l'accesso Dataform a BigQuery
Per eseguire i workflow in BigQuery, l'account di servizio Dataform deve disporre dei seguenti ruoli obbligatori:
- Editor dati BigQuery nei progetti a cui Dataform deve avere accesso in lettura e scrittura. In genere includono il progetto che ospita il repository Dataform.
- Visualizzatore dati BigQuery nei progetti a cui Dataform deve avere accesso di sola lettura.
- Utente job BigQuery nel progetto che ospita il tuo repository Dataform.
Per concedere questi ruoli:
Nella console Google Cloud, vai alla pagina IAM.
Fai clic su Aggiungi.
Nel campo Nuove entità, inserisci l'ID account di servizio Dataform.
Nell'elenco a discesa Seleziona un ruolo, seleziona il ruolo Utente job BigQuery.
Fai clic su Aggiungi un altro ruolo e nell'elenco a discesa Seleziona un ruolo, seleziona il ruolo Editor dati BigQuery.
Fai clic su Aggiungi un altro ruolo e nell'elenco a discesa Seleziona un ruolo, seleziona il ruolo Visualizzatore dati BigQuery.
Fai clic su Salva.
Crea una configurazione di release
Per creare i risultati della compilazione di produzione del repository quickstart-production
:
Nella console Google Cloud, vai alla pagina Dataform.
Fai clic su
quickstart-production
.Fai clic su Configurazioni della release e poi su Nuova configurazione della release.
Nel riquadro Crea configurazione della release, configura le seguenti impostazioni:
Nel campo ID release, inserisci
production
.Nel campo Commitish Git, lascia il valore predefinito
main
.Nel menu a discesa Frequenza, seleziona Personalizzata.
Nel campo Pianificazione personalizzata, inserisci
0 16 * * *
.Nel menu a discesa Fuso orario, seleziona un fuso orario UTC+1, ad esempio Greenwich Mean Time (GMT).
Ogni giorno alle 16:00 UTC+1, Dataform compilerà il repository
quickstart-production
e applicherà le impostazioni di compilazione configurate in questa configurazione della release per creare i risultati di compilazioneproduction
.Fai clic su Crea.
La configurazione della release production
crea un risultato di compilazione dell'intero repository quickstart-production
ogni giorno alle 16:00 UTC+1.
Crea una configurazione di flusso di lavoro
Per pianificare l'esecuzione delle tabelle production
:
Nella console Google Cloud, vai alla pagina Dataform.
Fai clic su
quickstart-production
.Fai clic su Configurazioni del flusso di lavoro e poi su Nuova configurazione del flusso di lavoro.
Nel riquadro Crea configurazione del flusso di lavoro, inserisci
production
nel campo ID configurazione.Nel menu a discesa Configurazione della release, seleziona
production
.Nel campo Frequenza, inserisci
0 17 * * *
.Nel menu a discesa Fuso orario, seleziona un fuso orario UTC+1, ad esempio Greenwich Mean Time (GMT).
Ogni giorno, alle 17:00 UTC+1, Dataform eseguirà l'ultimo risultato della compilazione
production
del repositoryquickstart-production
.Per assicurarti che Dataform esegua il risultato di compilazione più recente nella configurazione della release corrispondente, mantieni un intervallo minimo di 1 ora tra il momento della creazione del risultato di compilazione e il momento dell'esecuzione pianificata.
Fai clic su Tutte le azioni.
Dataform eseguirà tutte le azioni del flusso di lavoro SQL nel risultato della compilazione
production
.Fai clic su Crea.
La configurazione del flusso di lavoro production
esegue l'intero risultato della compilazione più recente creato dalla configurazione della release production
ogni giorno alle 16:00 UTC+1.
Visualizzare i risultati di compilazione di production
precedenti
Per visualizzare i risultati di compilazione production
pianificati precedenti:
Nella console Google Cloud, vai alla pagina Dataform.
Fai clic su
quickstart-production
.Fai clic su Configurazioni della release.
Fai clic su
production
.
Visualizzare le esecuzioni precedenti del flusso di lavoro production
Per visualizzare le esecuzioni precedenti del flusso di lavoro production
:
Nella console Google Cloud, vai alla pagina Dataform.
Fai clic su
quickstart-production
.Fai clic su Configurazioni dei flussi di lavoro.
Esegui la pulizia
Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi.
Elimina il set di dati creato in BigQuery
Per evitare che ti vengano addebitati costi per gli asset BigQuery, segui questi passaggi per eliminare il set di dati dataform_production
:
Nella console Google Cloud, vai alla pagina BigQuery.
Nel riquadro Explorer, espandi il progetto e seleziona
dataform_production
.Fai clic sul menu
Azioni e seleziona Elimina.Nella finestra di dialogo Elimina set di dati, inserisci delete e fai clic su Elimina.
Elimina la configurazione della release Dataform
Non sono previsti costi per la creazione di configurazioni delle release Dataform. Tuttavia, se vuoi eliminare la configurazione della release production
:
Nella console Google Cloud, vai alla pagina Dataform.
Fai clic su
quickstart-production
.Fai clic su Configurazioni della release.
Accanto alla configurazione della release
production
, fai clic sul menu Altro e poi su Elimina.Nella finestra di dialogo Elimina configurazione della release, fai clic su Elimina.
Elimina la configurazione del flusso di lavoro Dataform
Per evitare che ti vengano addebitati costi per gli asset BigQuery, segui questi passaggi per eliminare la configurazione del flusso di lavoro production
di Dataform:
Nella console Google Cloud, vai alla pagina Dataform.
Fai clic su
quickstart-production
.Fai clic su Configurazioni dei flussi di lavoro.
Accanto alla configurazione del flusso di lavoro
production
, fai clic sul menu Altro e poi su Elimina.Nella finestra di dialogo Elimina configurazione della release, fai clic su Elimina.
Elimina il repository Dataform
Non sono previsti costi per la creazione di repository di Dataform. Tuttavia, se vuoi eliminare un repository e tutti i relativi contenuti:
Nella console Google Cloud, vai alla pagina Dataform.
Accanto a
quickstart-production
, fai clic sul menu Altro e seleziona Elimina.Nella finestra Elimina repository, inserisci il nome del repository per confermare l'eliminazione.
Per confermare, fai clic su Elimina.
Passaggi successivi
Per scoprire di più sul ciclo di vita del codice in Dataform, consulta Introduzione al ciclo di vita del codice in Dataform.
Per scoprire di più sulle best practice per il ciclo di vita del codice in Dataform, consulta Gestire il ciclo di vita del codice.
Per scoprire di più sulle configurazioni di release in Dataform, consulta Creare una configurazione di release.
Per scoprire di più sulle configurazioni dei workflow in Dataform, consulta Pianificare le esecuzioni con le configurazioni dei workflow.