Pianifica le esecuzioni di produzione

Pianifica le esecuzioni di produzione

Questa guida rapida illustra i passaggi seguenti per pianificare la produzione esecuzioni in Dataform:

• Crea un repository Dataform.
• Concedere a Dataform l'accesso a BigQuery.

• Crea una configurazione della release per configurare l'ambiente di produzione.

  Crea una configurazione della release production impostando la frequenza di creazione dei risultati della compilazione production.

• Crea una configurazione del flusso di lavoro per pianificare le esecuzioni nell'ambiente di produzione.

  Crea una configurazione del flusso di lavoro production, seleziona la release production e imposta una pianificazione per l'esecuzione della compilazione di production che consentono di analizzare i dati e visualizzare i risultati.

• Visualizzare i risultati delle compilazioni precedenti.

• Visualizza le esecuzioni passate.

• Pulisci gli asset creati.

Prima di iniziare

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the BigQuery and Dataform APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the BigQuery and Dataform APIs.

   Enable the APIs

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per eseguire tutte le attività di questo tutorial, chiedi all'amministratore di concederti i seguenti ruoli IAM:

• Amministratore Dataform (roles/dataform.admin) nei repository
• Dataform Editor (roles/dataform.editor) su spazi di lavoro e workflowInvocations

Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite la ruoli o altri ruoli predefiniti ruoli.

Crea un repository Dataform

1. Nella console Google Cloud, vai alla pagina Dataform.

   Vai a Dataform

2. Fai clic su Crea repository.

3. Nella pagina Crea repository, segui questi passaggi:

   1. Nel campo ID repository, inserisci quickstart-production.

   2. Nell'elenco Regione, seleziona europe-west4.

   3. Fai clic su Crea.

4. Fai clic su Fine.

Concedi l'accesso Dataform a BigQuery

Per eseguire i flussi di lavoro in BigQuery, l'account di servizio Dataform deve avere i seguenti ruoli obbligatori:

• Editor dati BigQuery nei progetti a cui Dataform deve avere accesso in lettura e scrittura. In genere includono il progetto che ospita il repository Dataform.
• Visualizzatore dati BigQuery sui progetti a cui Dataform ha bisogno dell'accesso in sola lettura.
• Utente job BigQuery del progetto che ospita il tuo repository Dataform.

Per concedere questi ruoli:

1. Nella console Google Cloud, vai alla pagina IAM.

   Vai alla pagina IAM

2. Fai clic su Aggiungi.

3. Nel campo Nuove entità, inserisci il modulo Dataform o l'ID account di servizio.

4. Nell'elenco a discesa Seleziona un ruolo, seleziona la Ruolo Utente job BigQuery.

5. Fai clic su Aggiungi un altro ruolo e nell'elenco a discesa Seleziona un ruolo, seleziona il ruolo Editor dati BigQuery.

6. Fai clic su Aggiungi un altro ruolo e poi nell'elenco a discesa Seleziona un ruolo seleziona il ruolo Visualizzatore dati BigQuery.

7. Fai clic su Salva.

Crea una configurazione di release

Per creare i risultati della compilazione di produzione del repository quickstart-production:

1. Nella console Google Cloud, vai alla pagina Dataform.

   Vai a Dataform

2. Fai clic su quickstart-production.

3. Fai clic su Configurazioni della release e poi su Nuova configurazione della release.

4. Nel riquadro Crea configurazione release, configura le seguenti impostazioni:

   1. Nel campo ID release, inserisci production.

   2. Nel campo Git commitish, lascia il valore predefinito main .

   3. Nel menu a discesa Frequenza, seleziona Personalizzata.

   4. Nel campo Pianificazione personalizzata, inserisci 0 16 * * *.

   5. Nel menu a discesa Fuso orario, seleziona un fuso orario UTC+1, ad esempio Ora del meridiano di Greenwich (GMT).

   Ogni giorno alle 16:00 UTC+1, Dataform compilerà il repository quickstart-production e applicherà le impostazioni di compilazione configurate in questa configurazione della release per creare i risultati di compilazione production.

5. Fai clic su Crea.

La configurazione della release production crea un risultato di compilazione dell' intero repository quickstart-production ogni giorno alle 16:00 UTC+1.

Crea una configurazione di flusso di lavoro

Per pianificare l'esecuzione delle tabelle production:

1. Nella console Google Cloud, vai alla pagina Dataform.

   Vai a Dataform

2. Fai clic su quickstart-production.

3. Fai clic su Configurazioni del flusso di lavoro, quindi su Nuova configurazione del flusso di lavoro.

4. Nel riquadro Crea configurazione del flusso di lavoro, inserisci production nel campo ID configurazione.

5. Nel menu a discesa Configurazione della release, seleziona production.

6. Nel campo Frequenza, inserisci 0 17 * * *.

7. Nel menu a discesa Fuso orario, seleziona un fuso orario UTC+1, ad esempio Greenwich Mean Time (GMT).

   Ogni giorno, alle 17:00 UTC+1, Dataform eseguirà l'ultima versione di production risultato della compilazione del repository quickstart-production.

   per garantire che Dataform esegua l'ultimo risultato della compilazione nella configurazione della release corrispondente, mantieni una pausa di almeno 1 ora tra l'ora di creazione dei risultati della compilazione e l'ora di esecuzione pianificata.

8. Fai clic su Tutte le azioni.

   Dataform eseguirà tutte le azioni del flusso di lavoro SQL in il risultato della compilazione production.

9. Fai clic su Crea.

La configurazione del flusso di lavoro production esegue l'intero processo più recente risultato della compilazione creato dalla configurazione della release production ogni giorno alle 16:00 UTC+1.

Visualizzare i risultati di compilazione production precedenti

Per visualizzare i risultati della compilazione di production pianificata precedente, segui questi passaggi:

1. Nella console Google Cloud, vai alla pagina Dataform.

   Vai a Dataform

2. Fai clic su quickstart-production.

3. Fai clic su Configurazioni della release.

4. Fai clic su production.

Visualizzare le esecuzioni precedenti del flusso di lavoro production

Per visualizzare le precedenti esecuzioni del flusso di lavoro production:

1. Nella console Google Cloud, vai alla pagina Dataform.

   Vai a Dataform

2. Fai clic su quickstart-production.

3. Fai clic su Configurazioni dei flussi di lavoro.

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi.

Elimina il set di dati creato in BigQuery

Per evitare che ti vengano addebitati costi per gli asset BigQuery, segui questi passaggi per eliminare il set di dati dataform_production:

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nel riquadro Explorer, espandi il progetto e seleziona dataform_production.

3. Fai clic sul menu Azioni e seleziona Elimina.

4. Nella finestra di dialogo Elimina set di dati, inserisci delete, quindi fai clic su Elimina.

Elimina la configurazione della release Dataform

Non sono previsti costi per la creazione di configurazioni delle release Dataform. Tuttavia, se vuoi eliminare la configurazione della release production:

1. Nella console Google Cloud, vai alla pagina Dataform.

   Vai a Dataform

2. Fai clic su quickstart-production.

3. Fai clic su Configurazioni della release.

4. Accanto alla configurazione della release production, fai clic sul menu Altro e poi su Elimina.

5. Nella finestra di dialogo Elimina configurazione release, fai clic su Elimina.

Elimina la configurazione del flusso di lavoro Dataform

Per evitare che ti vengano addebitati costi per gli asset BigQuery, segui questi passaggi per eliminare la configurazione del flusso di lavoro production di Dataform:

1. Nella console Google Cloud, vai alla pagina Dataform.

   Vai a Dataform

2. Fai clic su quickstart-production.

3. Fai clic su Configurazioni dei flussi di lavoro.

4. Accanto alla configurazione del flusso di lavoro production, fai clic sul menu Altro e poi su Elimina.

5. Nella finestra di dialogo Elimina configurazione della release, fai clic su Elimina.

Elimina il repository Dataform

Non sono previsti costi per la creazione di repository di Dataform. Tuttavia, se vuoi eliminare un repository e tutti i suoi contenuti, segui questi passaggi: passaggi:

1. Nella console Google Cloud, vai alla pagina Dataform.

   Vai a Dataform

2. Entro quickstart-production, fai clic sul menu Altro , e poi seleziona Elimina.

3. Nella finestra Elimina repository, inserisci il nome del un repository per confermare l'eliminazione.

4. Per confermare, fai clic su Elimina.

Passaggi successivi

• Per scoprire di più sul ciclo di vita del codice in Dataform, consulta Introduzione al ciclo di vita del codice in Dataform.

• Per scoprire di più sulle best practice per il ciclo di vita del codice in Dataform, consulta Gestione del ciclo di vita del codice.

• Per scoprire di più sulle configurazioni della release in Dataform, vedi Crea una configurazione di release.

• Per scoprire di più sulle configurazioni dei flussi di lavoro in Dataform, consulta Pianifica le esecuzioni con configurazioni di flusso di lavoro.