Crea ed esegui un flusso di lavoro SQL in Dataform

Crea ed esegui un flusso di lavoro SQL in Dataform

Questa guida rapida illustra il processo seguente in Dataform per creare un flusso di lavoro SQL ed eseguirlo in BigQuery:

• Crea un repository Dataform.
• Crea e inizializza un'area di lavoro di sviluppo Dataform.
• Crea una vista.
• Crea una tabella.
• Concedi a Dataform l'accesso a BigQuery.
• Esegui il flusso di lavoro creato.
• Visualizza i log di esecuzione in Dataform.
• Esegui la pulizia degli asset creati.

Prima di iniziare

1. Accedi al tuo account Google Cloud. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.

2. Nella pagina del selettore di progetti della console Google Cloud, seleziona o crea un progetto Google Cloud.

   Nota: se non prevedi di conservare le risorse create in questa procedura, crea un progetto anziché selezionarne uno esistente. Dopo aver completato questi passaggi, puoi eliminare il progetto, rimuovendo tutte le risorse associate.

   Vai al selettore progetti

3. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

4. Abilita le API BigQuery and Dataform.

   Abilita le API

5. Nella pagina del selettore di progetti della console Google Cloud, seleziona o crea un progetto Google Cloud.

   Nota: se non prevedi di conservare le risorse create in questa procedura, crea un progetto anziché selezionarne uno esistente. Dopo aver completato questi passaggi, puoi eliminare il progetto, rimuovendo tutte le risorse associate.

   Vai al selettore progetti

6. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

7. Abilita le API BigQuery and Dataform.

   Abilita le API

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per eseguire tutte le attività in questo tutorial, chiedi all'amministratore di concederti i seguenti ruoli IAM:

• Amministratore Dataform (roles/dataform.admin) sui repository
• Dataform Editor (roles/dataform.editor) per le aree di lavoro e il flusso di lavoroInvocations

Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.

Potresti anche essere in grado di ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Crea un repository Dataform

1. Nella console Google Cloud, vai alla pagina Dataform.

   Vai a Dataform

2. Fai clic su Crea repository.

3. Nella pagina Crea repository, segui questi passaggi:

   1. Nel campo ID repository, inserisci quickstart-repository.

   2. Nell'elenco Regione, seleziona europe-west4.

   3. Fai clic su Crea.

Crea e inizializza un'area di lavoro di sviluppo Dataform

1. Nella console Google Cloud, vai alla pagina Dataform.

   Vai a Dataform

2. Fai clic su quickstart-repository.

3. Fai clic su Crea area di lavoro di sviluppo.

4. Nella finestra Crea area di lavoro di sviluppo, segui questi passaggi:

   1. Nel campo ID area di lavoro, inserisci quickstart-workspace.

   2. Fai clic su Crea.

   Viene visualizzata la pagina dell'area di lavoro di sviluppo.

5. Fai clic su Inizializza area di lavoro.

Nota: Dataform inizializza l'area di lavoro con un insieme di directory e file di configurazione che contengono impostazioni predefinite per il deployment dei flussi di lavoro. Puoi eseguire l'override delle impostazioni predefinite nel file dataform.json per soddisfare al meglio le tue esigenze, ma non è obbligatorio eseguire il deployment di flussi di lavoro SQL in BigQuery. Questa guida rapida utilizza le impostazioni predefinite di Dataform.

Crea una vista

Nelle sezioni seguenti definisci una vista che utilizzerai in seguito come origine dati per una tabella.

Crea un file SQLX per definire una vista

1. Nel riquadro File, accanto a definitions/, fai clic sul menu Altro .

2. Fai clic su Crea file.

3. Nel riquadro Crea nuovo file, segui questi passaggi:

   1. Nel campo Aggiungi un percorso del file, inserisci definitions/quickstart-source.sqlx.

   2. Fai clic su Crea file.

Definisci una vista

1. Nel riquadro File, espandi la cartella delle definizioni.

2. Fai clic su definitions/quickstart-source.sqlx.

3. Nel file, inserisci il seguente snippet di codice:

   config {
     type: "view"
   }
   
   SELECT
     "apples" AS fruit,
     2 AS count
   UNION ALL
   SELECT
     "oranges" AS fruit,
     5 AS count
   UNION ALL
   SELECT
     "pears" AS fruit,
     1 AS count
   UNION ALL
   SELECT
     "bananas" AS fruit,
     0 AS count
   

4. Fai clic su Formato.

Creare una tabella

Nelle sezioni seguenti, definisci il tipo di tabella in un file SQLX e poi scrivi un'istruzione SELECT per definire la struttura della tabella all'interno dello stesso file.

Crea un file SQLX per definire una tabella

1. Nel riquadro File, accanto a definitions/, fai clic sul menu Altro , quindi seleziona Crea file.

2. Nel campo Aggiungi un percorso file, inserisci definitions/quickstart-table.sqlx.

3. Fai clic su Crea file.

Definisci il tipo di tabella, la struttura e le dipendenze

1. Nel riquadro File, espandi la directory definitions/.

2. Seleziona quickstart-table.sqlx, quindi inserisci il seguente tipo di tabella e l'istruzione SELECT:

   config {
     type: "table"
   }
   
   SELECT
     fruit,
     SUM(count) as count
   FROM ${ref("quickstart-source")}
   GROUP BY 1
   

3. Fai clic su Formato.

   Nota: nello snippet di codice precedente, la funzione ref fa riferimento all'origine dati. Per saperne di più, consulta Definire una tabella.

Dopo aver definito il tipo di tabella, Dataform genera un errore di convalida della query perché quickstart-source non esiste ancora in BigQuery. Questo errore viene risolto eseguendo il flusso di lavoro SQL più avanti in questo tutorial.

Concedi l'accesso Dataform a BigQuery

Per eseguire flussi di lavoro in BigQuery, l'account di servizio Dataform deve avere i seguenti ruoli richiesti:

• Editor dati BigQuery sui progetti a cui Dataform richiede l'accesso in lettura e scrittura. Di solito includono il progetto che ospita il repository Dataform.
• Visualizzatore dati BigQuery sui progetti a cui Dataform richiede l'accesso in sola lettura.
• Utente job BigQuery sul progetto che ospita il repository Dataform.

Per concedere questi ruoli:

1. Nella console Google Cloud, vai alla pagina IAM.

   Vai alla pagina IAM

2. Fai clic su Aggiungi.

3. Nel campo Nuove entità, inserisci il tuo ID account di servizio Dataform.

4. Nell'elenco a discesa Seleziona un ruolo, seleziona il ruolo Utente job BigQuery.

5. Fai clic su Aggiungi un altro ruolo e nell'elenco a discesa Seleziona un ruolo seleziona il ruolo Editor dati BigQuery.

6. Fai clic su Aggiungi un altro ruolo e seleziona Visualizzatore dati BigQuery nell'elenco a discesa Seleziona un ruolo.

7. Fai clic su Salva.

Esegui il flusso di lavoro

1. Nella console Google Cloud, vai alla pagina Dataform.

   Vai a Dataform

2. Nella pagina quickstart-workspace, fai clic su Avvia esecuzione.

3. Fai clic su Tutte le azioni.

4. Nel riquadro Esegui, fai clic su Avvia esecuzione.

   Dataform utilizza le impostazioni predefinite del repository per creare i contenuti del tuo flusso di lavoro in un set di dati BigQuery chiamato dataform.

Visualizza i log di esecuzione in Dataform

1. Nella pagina quickstart-repository, fai clic su Log di esecuzione del flusso di lavoro.

2. Per visualizzare i dettagli dell'esecuzione, fai clic sull'ultima esecuzione.

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi:

Elimina il set di dati creato in BigQuery

Per evitare che ti vengano addebitati dei costi per gli asset BigQuery, elimina il set di dati denominato dataform.

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nel riquadro Explorer, espandi il progetto e seleziona dataform.

3. Fai clic sul menu Azioni di e seleziona Elimina.

4. Nella finestra di dialogo Elimina set di dati, inserisci delete nel campo, quindi fai clic su Elimina.

Elimina l'area di lavoro di sviluppo Dataform

La creazione dell'area di lavoro di sviluppo Dataform non prevede costi, ma per eliminare l'area di lavoro di sviluppo puoi seguire questi passaggi:

1. Nella console Google Cloud, vai alla pagina Dataform.

   Vai a Dataform

2. Fai clic su quickstart-repository.

3. Nella scheda Aree di lavoro di sviluppo, fai clic sul menu Altro per quickstart-workspace, poi seleziona Elimina.

4. Per confermare, fai clic su Elimina.

Elimina il repository Dataform

La creazione di repository Dataform non prevede costi, ma per eliminare il repository puoi seguire questi passaggi:

1. Nella console Google Cloud, vai alla pagina Dataform.

   Vai a Dataform

2. In quickstart-repository, fai clic sul menu Altro di e seleziona Elimina.

3. Nella finestra Elimina repository, inserisci il nome del repository per confermare l'eliminazione.

4. Per confermare, fai clic su Elimina.

Passaggi successivi

• Per saperne di più su Dataform, consulta Panoramica di Dataform.

• Per scoprire di più sulle funzionalità di Dataform, consulta la panoramica delle funzionalità di Dataform.

• Per scoprire di più su Dataform core, consulta la Panoramica del core di Dataform.

• Per scoprire come eseguire l'override delle impostazioni predefinite di Dataform del tuo repository, consulta Configurare le impostazioni di Dataform.

• Per saperne di più sulla gestione dei set di dati in BigQuery, consulta Gestione dei set di dati.

• Per saperne di più sulla gestione delle tabelle in BigQuery, consulta Gestione delle tabelle.