Crea override delle compilazioni delle aree di lavoro

Questo documento mostra come creare override di compilazione dell'area di lavoro per isolare tabelle e viste create dalle aree di lavoro Dataform in in BigQuery. Puoi utilizzare gli override delle compilazioni delle aree di lavoro per creare ambienti di sviluppo Dataform isolati.

Informazioni sugli override delle compilazioni delle aree di lavoro

Quando sviluppi il codice del flusso di lavoro SQL in un'area di lavoro Dataform, Dataform compila il codice nella tua area di lavoro in tempo reale per creare risultato della compilazione dell'area di lavoro. Dataform utilizza le impostazioni definite in file delle impostazioni del flusso di lavoro per creare il risultato della compilazione delle aree di lavoro. Poi, Quando attivi l'esecuzione in un'area di lavoro, Dataform esegue il risultato di compilazione dell'area di lavoro in BigQuery.

Per eseguire l'override delle impostazioni predefinite configurate in impostazioni del flusso di lavoro per tutti aree di lavoro del repository, puoi creare override delle compilazioni delle aree di lavoro.

Con gli override delle compilazioni delle aree di lavoro, puoi eseguire l'override delle seguenti impostazioni per tutte le aree di lavoro nel repository:

Progetto
Progetto Google Cloud in cui Dataform esegue l'area di lavoro risultato della compilazione, impostato in workflow_settings.yaml come defaultProject o in dataform.json come defaultDatabase.
Prefisso tabella
Prefisso personalizzato aggiunto a tutti i nomi delle tabelle in tutte le aree di lavoro in repository Git.
Suffisso schema

Suffisso personalizzato aggiunto allo schema delle tabelle definite in

Imposta come defaultDataset in workflow_settings.yaml, defaultSchema in dataform.json o nel parametro schema in il blocco config di una tabella.

Per creare ambienti di sviluppo isolati, puoi isolare le aree di lavoro con override delle compilazioni univoche. Puoi modificare dinamicamente il prefisso della tabella esegue l'override delle compilazioni dei suffissi dello schema con la variabile ${workspaceName}.

Quando attivi manualmente l'esecuzione in un'area di lavoro, ${workspaceName} inserisce il nome dell'area di lavoro nella compilazione override.

Quando imposti ${workspaceName} come prefisso della tabella, Dataform aggiunge il parametro dello spazio di lavoro con i nomi di tutte le tabelle al suo interno. Dopo l'esecuzione, in BigQuery, puoi identificare da quale area di lavoro proviene una tabella.

Quando imposti ${workspaceName} come suffisso dello schema, Dataform aggiunge il nome dell'area di lavoro in defaultSchema, creando uno schema personalizzato dedicato nell'area di lavoro. Dopo l'esecuzione, in BigQuery puoi individuare eseguite da un'area di lavoro specifica nello schema dedicato.

Esempio di override della compilazione delle aree di lavoro dinamiche

L'esempio seguente mostra gli override di compilazione dell'area di lavoro dinamica applicati a una che contiene aree di lavoro denominate in base agli sviluppatori che lavorano repository: Sasha e Kai.

L'obiettivo degli override delle compilazioni delle aree di lavoro in questo esempio è creare di sviluppo isolati per Sasha e Kai.

In workflow_settings.yaml sono configurate le seguenti impostazioni predefinite:

  • defaultProject: analytics
  • defaultDataset: dataform

I seguenti override di compilazione dell'area di lavoro creano un prefisso della tabella dinamica e suffisso dello schema per ogni area di lavoro nel repository:

  • ID progetto Google Cloud : analytics_dev
  • Prefisso tabella: ${workspaceName}
  • Suffisso dello schema: ${workspaceName}

Quando Sasha attiva manualmente l'esecuzione nell'area di lavoro Sasha, Dataform esegue i propri contenuti con le seguenti impostazioni:

  • Progetto Google Cloud: analytics_dev
  • schema: dataform_sasha
  • nomi delle tabelle: sasha_name, ad esempio, sasha_orders.

Quando Kai attiva manualmente l'esecuzione nell'area di lavoro Kai, Dataform ne esegue i contenuti con le seguenti impostazioni:

  • Progetto Google Cloud: analytics_dev
  • schema: dataform_kai
  • nomi delle tabelle: kai_name, ad esempio, kai_orders

Prima di iniziare

  1. Nella console Google Cloud, vai alla pagina Dataform.

    Vai alla pagina Dataform

  2. Seleziona o crea un repository.

  3. (Facoltativo) Per eseguire l'override del progetto Google Cloud predefinito, concedi L'accesso dell'account di servizio Dataform a il progetto Google Cloud che intendi utilizzare.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per creare override delle compilazioni delle aree di lavoro, chiedi all'amministratore di concederti Ruolo IAM Amministratore Dataform (roles/dataform.admin) nei repository. Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite la ruoli o altri ruoli predefiniti ruoli.

Crea override delle compilazioni delle aree di lavoro

Per creare override di compilazione dell'area di lavoro Dataform:

  1. Nel repository, vai a Impostazioni.
  2. Fai clic su Modifica.
  3. Nel riquadro Override delle compilazioni dell'area di lavoro, nel Nel campo ID progetto Google Cloud, inserisci l'ID del progetto Google Cloud.
  4. Nel campo Prefisso tabella, inserisci un prefisso per tutti i nomi delle tabelle.
    1. (Facoltativo) Per creare un prefisso della tabella dinamica univoco per ogni nell'area di lavoro, inserisci ${workspaceName} come prefisso della tabella.
  5. Nel campo Suffisso schema, inserisci un suffisso da aggiungere allo schema di la tabella o la vista creata.
    1. (Facoltativo) Per creare un suffisso dello schema dinamico univoco per ogni nell'area di lavoro, inserisci ${workspaceName} come suffisso della tabella.
  6. Fai clic su Salva.

Dataform applica gli override di compilazione delle aree di lavoro a tutte le aree di lavoro in nel tuo repository.

Modifica gli override delle compilazioni delle aree di lavoro

Per modificare gli override della compilazione dell'area di lavoro Dataform:

  1. Nel repository, vai a Impostazioni.
  2. Fai clic su Modifica.
  3. Modifica gli override delle compilazioni delle aree di lavoro e fai clic su Salva.

Elimina override delle compilazioni delle aree di lavoro

Per eliminare gli override di compilazione dell'area di lavoro Dataform:

  1. Nel repository, vai a Impostazioni.
  2. Fai clic su Modifica.
  3. Nel riquadro Override delle compilazioni dell'area di lavoro, fai clic su Cancella tutto. e fai clic su Salva.

Passaggi successivi

  • Per informazioni su come attivare manualmente l'esecuzione, consulta Trigger dell'IA.