Crea ed esegui un workflow SQL in Dataform

Questa guida rapida illustra la seguente procedura in Dataform per creare un workflow SQL da eseguire in BigQuery:

Prima di iniziare

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Enable the BigQuery and Dataform APIs.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Make sure that billing is enabled for your Google Cloud project.

  7. Enable the BigQuery and Dataform APIs.

    Enable the APIs

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per eseguire tutte le attività di questo tutorial, chiedi all'amministratore di concederti i seguenti ruoli IAM nel progetto:

  • Dataform Admin (roles/dataform.admin) - repository
  • Dataform Editor (roles/dataform.editor): spazi di lavoro e invocazioni di workflow

Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Crea un repository Dataform

  1. Nella console Google Cloud, vai alla pagina Dataform.

    Vai a Dataform

  2. Fai clic su Crea repository.

  3. Nella pagina Crea repository:

    1. Nel campo ID repository, inserisci quickstart-repository.

    2. Nell'elenco Regione, seleziona europe-west4.

    3. Fai clic su Crea.

Crea e inizializza un'area di lavoro di sviluppo Dataform

  1. Nella console Google Cloud, vai alla pagina Dataform.

    Vai a Dataform

  2. Fai clic su quickstart-repository.

  3. Fai clic su Crea area di lavoro di sviluppo.

  4. Nella finestra Crea area di lavoro di sviluppo:

    1. Nel campo ID area di lavoro, inserisci quickstart-workspace.

    2. Fai clic su Crea.

    Viene visualizzata la pagina dello spazio di lavoro di sviluppo.

  5. Fai clic su Inizializza area di lavoro.

Crea una vista

Nelle sezioni seguenti, definisci una vista che utilizzerai in seguito come origine dati per una tabella.

Crea un file SQLX per definire una vista

  1. Nel riquadro File, accanto a definitions/, fai clic sul menu Altro.

  2. Fai clic su Crea file.

  3. Nel riquadro Crea nuovo file:

    1. Nel campo Aggiungi un percorso del file, inserisci definitions/quickstart-source.sqlx.

    2. Fai clic su Crea file.

Definire una visualizzazione

  1. Nel riquadro File, espandi la cartella delle definizioni.

  2. Fai clic su definitions/quickstart-source.sqlx.

  3. Nel file, inserisci il seguente snippet di codice:

    config {
     type: "view"
    }
    
    SELECT
     "apples" AS fruit,
     2 AS count
    UNION ALL
    SELECT
     "oranges" AS fruit,
     5 AS count
    UNION ALL
    SELECT
     "pears" AS fruit,
     1 AS count
    UNION ALL
    SELECT
     "bananas" AS fruit,
     0 AS count
    
  4. Fai clic su Formato.

Creare una tabella

Nelle sezioni seguenti devi definire il tipo di tabella in un file SQLX, quindi scrivere un'istruzione SELECT per definire la struttura della tabella all'interno dello stesso file.

Crea un file SQLX per definire una tabella

  1. Nel riquadro File, accanto a definitions/, fai clic sul menu Altro e seleziona Crea file.

  2. Nel campo Aggiungi un percorso del file, inserisci definitions/quickstart-table.sqlx.

  3. Fai clic su Crea file.

Definisci il tipo, la struttura e le dipendenze della tabella

  1. Nel riquadro File, espandi la directory definitions/.

  2. Seleziona quickstart-table.sqlx, quindi inserisci il seguente tipo di tabella e la dichiarazione SELECT:

    config {
     type: "table"
    }
    
    SELECT
     fruit,
     SUM(count) as count
    FROM ${ref("quickstart-source")}
    GROUP BY 1
    
  3. Fai clic su Formato.

Dopo aver definito il tipo di tabella, Dataform genera un errore di convalida delle query perché quickstart-source non esiste ancora in BigQuery. Questo errore viene risolto quando esegui il flusso di lavoro SQL più avanti in questo tutorial.

Concedi l'accesso Dataform a BigQuery

Per eseguire i workflow in BigQuery, l'account di servizio Dataform deve disporre dei seguenti ruoli obbligatori:

Per concedere questi ruoli:

  1. Nella console Google Cloud, vai alla pagina IAM.

    Vai alla pagina IAM

  2. Fai clic su Aggiungi.

  3. Nel campo Nuove entità, inserisci l'ID account di servizio Dataform.

  4. Nell'elenco a discesa Seleziona un ruolo, seleziona il ruolo Utente job BigQuery.

  5. Fai clic su Aggiungi un altro ruolo e nell'elenco a discesa Seleziona un ruolo, seleziona il ruolo Editor dati BigQuery.

  6. Fai clic su Aggiungi un altro ruolo e nell'elenco a discesa Seleziona un ruolo, seleziona il ruolo Visualizzatore dati BigQuery.

  7. Fai clic su Salva.

Esegui il flusso di lavoro

  1. Nella console Google Cloud, vai alla pagina Dataform.

    Vai a Dataform

  2. Nella pagina quickstart-workspace, fai clic su Avvia esecuzione.

  3. Fai clic su Tutte le azioni.

  4. Nel riquadro Esegui, fai clic su Avvia esecuzione.

    Dataform utilizza le impostazioni predefinite del repository per creare i contenuti del flusso di lavoro in un set di dati BigQuery chiamato dataform.

Visualizza i log di esecuzione in Dataform

  1. Nella pagina quickstart-repository, fai clic su Log di esecuzione del flusso di lavoro.

  2. Per visualizzare i dettagli dell'esecuzione, fai clic sull'ultima esecuzione.

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate su questa pagina, segui questi passaggi.

Elimina il set di dati creato in BigQuery

Per evitare che ti vengano addebitati costi per gli asset BigQuery, elimina il set di dati dataform.

  1. Nella console Google Cloud, vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel riquadro Explorer, espandi il progetto e seleziona dataform.

  3. Fai clic sul menu Azioni e seleziona Elimina.

  4. Nella finestra di dialogo Elimina set di dati, inserisci delete nel campo e fai clic su Elimina.

Elimina l'area di lavoro di sviluppo Dataform

La creazione di uno spazio di lavoro di sviluppo Dataform non comporta costi, ma per eliminarlo puoi seguire questi passaggi:

  1. Nella console Google Cloud, vai alla pagina Dataform.

    Vai a Dataform

  2. Fai clic su quickstart-repository.

  3. Nella scheda Aree di lavoro di sviluppo, fai clic sul menu Altro accanto a quickstart-workspace e seleziona Elimina.

  4. Per confermare, fai clic su Elimina.

Elimina il repository Dataform

La creazione di un repository Dataform non comporta costi, ma per eliminarlo puoi seguire questi passaggi:

  1. Nella console Google Cloud, vai alla pagina Dataform.

    Vai a Dataform

  2. Accanto a quickstart-repository, fai clic sul menu Altro e seleziona Elimina.

  3. Nella finestra Elimina repository, inserisci il nome del repository per confermare l'eliminazione.

  4. Per confermare, fai clic su Elimina.

Passaggi successivi