Crea ambienti di sviluppo
Questa guida rapida illustra i passaggi per creare singoli ambienti di sviluppo in Dataform, in modo che ogni sviluppatore possa lavorare nel proprio ambiente di sviluppo:
- Crea un repository Dataform.
Concedi a Dataform l'accesso a BigQuery.
Configura gli override della compilazione che Dataform applicherà a tutti di aree di lavoro del repository, trasformandole in aree di lavoro isolate di sviluppo software.
Prima di iniziare
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the BigQuery and Dataform APIs.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the BigQuery and Dataform APIs.
Ruoli obbligatori
Per ottenere le autorizzazioni necessarie per eseguire tutte le attività in questo tutorial: chiedi all'amministratore di concederti i seguenti ruoli IAM sul tuo progetto:
-
Dataform Admin (
roles/dataform.admin
) - repository -
Dataform Editor (
roles/dataform.editor
): spazi di lavoro e invocazioni dei flussi di lavoro
Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.
Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.
Crea un repository Dataform
Nella console Google Cloud, vai alla pagina Dataform.
Fai clic su
Crea repository.Nella pagina Crea repository, segui questi passaggi:
Nel campo ID repository, inserisci
quickstart-dev
.Nell'elenco Regione, seleziona
europe-west4
.Fai clic su Crea.
Fai clic su Fine.
Concedi l'accesso Dataform a BigQuery
Per eseguire flussi di lavoro in BigQuery, il Dataform l'account di servizio deve avere i seguenti ruoli obbligatori:
- Editor dati BigQuery nei progetti a cui Dataform deve avere accesso in lettura e scrittura. Generalmente includono il progetto che ospita il tuo repository Dataform.
- Visualizzatore dati BigQuery nei progetti a cui Dataform deve avere accesso di sola lettura.
- Utente job BigQuery del progetto che ospita il tuo repository Dataform.
Per concedere questi ruoli:
Nella console Google Cloud, vai alla pagina IAM.
Fai clic su Aggiungi.
Nel campo Nuove entità, inserisci l'ID account di servizio Dataform.
Nell'elenco a discesa Seleziona un ruolo, seleziona la Ruolo Utente job BigQuery.
Fai clic su Aggiungi un altro ruolo e nell'elenco a discesa Seleziona un ruolo, seleziona il ruolo Editor dati BigQuery.
Fai clic su Aggiungi un altro ruolo e nell'elenco a discesa Seleziona un ruolo, seleziona il ruolo Visualizzatore dati BigQuery.
Fai clic su Salva.
Configura gli override di compilazione dell'area di lavoro
Per creare ambienti di sviluppo isolati con l'area di lavoro Dataform per le compilazioni, segui questi passaggi:
Nella console Google Cloud, vai alla pagina Dataform.
Fai clic su
quickstart-dev
.Fai clic su Impostazioni e poi su Modifica.
Nel riquadro Override di compilazione dell'area di lavoro, nel campo Suffisso schema, inserisci
${workspaceName}
.Quando attivi l'esecuzione in un'area di lavoro, Dataform aggiunge il nome dell'area di lavoro come suffisso allo schema predefinito impostato nelle impostazioni del flusso di lavoro. Questa guida rapida utilizza il formato Dataform predefinito impostazioni con lo schema predefinito
dataform
.Fai clic su Salva.
Dataform applica override di compilazione dell'area di lavoro a tutte le aree di lavoro nel tuo repository.
Con questa configurazione, quando esegui manualmente un flusso di lavoro SQL
Workspace, Dataform lo esegue con override di compilazione dell'area di lavoro.
Di conseguenza, Dataform esegue il flusso di lavoro SQL nello schema dataform_workspaceName
in BigQuery, trasformando
dell'area di lavoro in un ambiente di sviluppo isolato.
Ad esempio, se attivi manualmente l'esecuzione in un'area di lavoro sasha
,
Dataform esegue il flusso di lavoro SQL nello schema dataform_sasha
in
in BigQuery.
Per eseguire flussi di lavoro SQL senza override della compilazione dell'area di lavoro, ma mantieni
di compilazione delle aree di lavoro per gli ambienti di sviluppo, puoi creare
configurazioni di release per configurare altri ambienti di esecuzione, ad esempio
staging
e production
.
Esegui la pulizia
Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi.
Eliminare i set di dati creati in BigQuery
Per evitare che ti vengano addebitati costi per gli asset BigQuery, elimina i set di dati
con nomi che iniziano con dataform
, ad esempio dataform-sasha
.
Nella console Google Cloud, vai alla pagina BigQuery.
Nel riquadro Spazio di esplorazione, espandi il progetto e seleziona un set di dati.
Fai clic sul menu
Azioni e seleziona Elimina.Nella finestra di dialogo Elimina set di dati, inserisci
delete
nel campo e fai clic su Elimina.
Elimina il repository Dataform
Non sono previsti costi per la creazione di repository di Dataform. Tuttavia, se vuoi eliminare un repository e tutti i suoi contenuti, segui questi passaggi: passaggi:
Nella console Google Cloud, vai alla pagina Dataform.
Entro
quickstart-dev
, fai clic sul menu Altro e quindi seleziona Elimina.- Nella finestra Elimina repository, inserisci il nome del repository per confermare l'eliminazione.
Per confermare, fai clic su Elimina.
Passaggi successivi
Per scoprire di più sul ciclo di vita del codice in Dataform, consulta Introduzione per programmare il ciclo di vita in Dataform.
Per scoprire di più sulle best practice per il ciclo di vita del codice in Dataform, consulta Gestione del ciclo di vita del codice.
Per scoprire di più sugli override della compilazione delle aree di lavoro in Dataform, consulta Creare una compilazione di aree di lavoro override.
Per scoprire come pianificare le esecuzioni di produzione in Dataform, consulta Pianifica le esecuzioni di produzione.