Crea una configurazione di release

Questo documento illustra come creare una configurazione della release in Dataform per configurare i modelli di impostazioni di compilazione, che puoi eseguire in base a una pianificazione. Puoi utilizzare le configurazioni di release per configurare gli ambienti di esecuzione, ad esempio gestione temporanea e produzione.

Informazioni sulle configurazioni della release Dataform

Per eseguire i flussi di lavoro SQL in BigQuery, Dataform compila il codice del flusso di lavoro SQL in un risultato di compilazione. Questo processo avviene automaticamente quando sviluppi un flusso di lavoro SQL in un'area di lavoro Dataform.

Le configurazioni di release ti consentono di personalizzare i risultati di compilazione. Puoi utilizzarle per creare ambienti di esecuzione, ad esempio la gestione temporanea.

Impostazioni di configurazione della release

In una configurazione della release, puoi configurare gli override di compilazione delle impostazioni del flusso di lavoro, impostare le variabili di compilazione e la frequenza di creazione dei risultati di compilazione.

Una configurazione della release Dataform contiene le seguenti impostazioni di compilazione:

Impostazioni di release
ID della release, commitish Git per i risultati di compilazione e frequenza di creazione dei risultati di compilazione. La frequenza è un'impostazione facoltativa. Se impostato, la frequenza minima è 1 ora.
Override delle compilazioni
Override del Google Cloud progetto, del prefisso della tabella, del suffisso dello schema e delle variabili di compilazione definite nelle impostazioni del flusso di lavoro.

Come funziona una configurazione della release

Dataform crea i risultati di compilazione da una configurazione della release con la frequenza specificata o quando attivi la compilazione. La frequenza è un'impostazione facoltativa e non è necessaria per creare una configurazione di rilascio. Se impostato, la frequenza minima è 1 ora. Puoi attivare manualmente la compilazione nella pagina Dettagli della configurazione della release, o attivare la compilazione con l'API Dataform releaseConfigs.

Durante la compilazione, Dataform esegue il pull del codice dal commitish Git specificato del tuo repository. Quindi, Dataform compila il codice con le sostituzioni di compilazione applicate (se presenti) e crea il risultato della compilazione. L'ultimo risultato di compilazione creato per la configurazione della release è il risultato della compilazione in tempo reale.

Puoi pianificare le esecuzioni dei risultati di compilazione dalle configurazioni della release nelle configurazioni del flusso di lavoro. Puoi anche eseguire una configurazione di release selezionata al di fuori di qualsiasi pianificazione. Durante l'esecuzione di una configurazione del flusso di lavoro, Dataform esegue il risultato della compilazione in tempo reale dalla configurazione della release selezionata.

Prima di iniziare

  1. Nella console Google Cloud, vai alla pagina Dataform.

    Vai alla pagina Dataform

  2. Seleziona o crea un repository.

  3. (Facoltativo) Per eseguire l'override del progetto Google Cloud predefinito nella configurazione della release, concedi all'account di servizio Dataform l'accesso al progetto Google Cloud che prevedi di utilizzare.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per creare una configurazione di release, chiedi all'amministratore di concederti il ruolo IAM Editor Dataform (roles/dataform.editor) nei repository. Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Crea una configurazione di release

Per creare una configurazione di release di Dataform:

  1. Nel repository, vai a Uscite e pianificazione.
  2. Nella sezione Configurazioni della release, fai clic su Crea.

  3. Nel riquadro Crea configurazione della release, configura le impostazioni della release.

    1. Nel campo ID release, inserisci un ID univoco per la configurazione della release.

      Gli ID possono includere solo numeri, lettere, trattini e trattini bassi.

    2. Nel campo Commitish Git, inserisci il branch Git o l'SHA del commit Git per la release.

    In un repository Dataform non collegato a un repository remoto, il valore è sempre main.

    1. (Facoltativo) Nel menu a discesa Frequenza, seleziona la frequenza di creazione dei risultati della compilazione.

      Se impostato, la frequenza minima è 1 ora.

  4. (Facoltativo) Nella sezione Sostituzioni di compilazione, configura le impostazioni di compilazione.

    1. Nel campo ID progetto Google Cloud, inserisci l'ID del Google Cloud progetto in cui vuoi memorizzare il risultato della compilazione.
    2. Nel campo Suffisso schema, inserisci un suffisso da aggiungere allo schema configurato nelle impostazioni del flusso di lavoro.
    3. Nel campo Prefisso tabella, inserisci un prefisso per tutti i nomi delle tabelle.

  5. (Facoltativo) Nella sezione Variabili di compilazione, imposta le variabili di compilazione.

    1. Fai clic su Aggiungi variabile.
    2. Nel campo Chiave, inserisci la variabile di compilazione.
    3. Nel campo Valore, inserisci il valore per la variabile di compilazione.
    4. Per aggiungere un'altra variabile di compilazione, fai clic su Aggiungi variabile.

  6. Fai clic su Crea.

Se sostituisci il progetto Google Cloud predefinito, assicurati che il tuo account di servizio Dataform abbia accesso al progetto Google Cloud impostato nella configurazione della release.



Ad esempio, la seguente configurazione della release crea un risultato di compilazione production dal ramo main ogni ora, senza alcuna sostituzione della compilazione:

  • ID release: production
  • Commitish di Git: main
  • Frequenza: ogni ora
  • nessun override di compilazione

Visualizzare i dettagli di una configurazione di release

Puoi visualizzare i seguenti dettagli di una configurazione della release:

  • Impostazioni di release
    • Commitish Git
    • Timestamp del risultato di compilazione più recente
    • Pianificazione cron
    • Override delle compilazioni
    • Variabili di compilazione
  • Risultato della compilazione in tempo reale
    • Timestamp creazione
    • Commitish Git
    • SHA del commit
  • Risultati di compilazione precedenti

Per visualizzare i dettagli di una configurazione di release:

  1. Nel repository, vai a Uscite e pianificazione.
  2. Seleziona una configurazione della release.
  3. Nella pagina Dettagli di configurazione della release, controlla i dettagli della configurazione della release.

La tabella Risultati della compilazione pianificata mostra i risultati di compilazione passati creati automaticamente dalla configurazione della release.

La tabella Risultati di compilazione manuale/API mostra i risultati di compilazione creati manualmente o tramite chiamate all'API Dataform tra i 1000 risultati di compilazione più recenti nel repository.

Attivare manualmente la compilazione

Per creare manualmente un risultato di compilazione da una configurazione di release selezionata:

  1. Nel repository, vai a Uscite e pianificazione.
  2. Seleziona una configurazione della release.
  3. Nella pagina Dettagli configurazione release, fai clic su Nuova compilazione.

Il risultato della compilazione appena creato diventa il risultato in tempo reale per la configurazione della release.

I risultati della compilazione manuale vengono visualizzati nella tabella Risultati di compilazione manuale/API della pagina Dettagli configurazione release.

Attivare l'esecuzione di una configurazione della release

Per attivare l'esecuzione del risultato della compilazione in tempo reale in una configurazione di release selezionata in BigQuery:

  1. Nel repository, vai a Uscite e pianificazione.
  2. Nella sezione Configurazioni della release, fai clic su Avvia esecuzione.
  3. Nel riquadro Esegui flusso di lavoro manuale, seleziona una configurazione della release nel menu a discesa Configurazione della release.
  4. Seleziona le azioni del flusso di lavoro SQL da eseguire:
    1. Per eseguire l'intero flusso di lavoro SQL, fai clic su Tutte le azioni.
    2. Per eseguire le azioni selezionate nel flusso di lavoro SQL, fai clic su Selezione di azioni e poi seleziona le azioni.
    3. Per eseguire azioni con i tag selezionati, fai clic su Selezione di tag e seleziona i tag.
  5. (Facoltativo) Per eseguire le azioni o i tag selezionati e le relative dipendenze, seleziona l'opzione Includi dipendenze.
  6. (Facoltativo) Per eseguire le azioni o i tag selezionati e i relativi elementi dipendenti, seleziona l'opzione Includi elementi dipendenti.

  7. (Facoltativo) Per ricostruire tutte le tabelle da zero, seleziona l'opzione Esegui con aggiornamento completo.

    Senza questa opzione, Dataform aggiorna le tabelle incrementali senza ristrutturarle da zero.

  8. Fai clic su Avvia esecuzione.

Modificare una configurazione della release

Per modificare una configurazione di release:

  1. Nel repository, vai a Uscite e pianificazione.
  2. Accanto alla configurazione della release che vuoi modificare, fai clic sul menu Altro e poi su Modifica.
  3. Nel riquadro Modifica configurazione della release, modifica le impostazioni della configurazione della release e poi fai clic su Salva.

Eliminare una configurazione di release

Per eliminare una configurazione di release:

  1. Nel repository, vai a Uscite e pianificazione.
  2. Accanto alla configurazione della release che vuoi eliminare, fai clic sul menu Altro e poi su Elimina.
  3. Nella finestra di dialogo Elimina configurazione della release, fai clic su Elimina.

Passaggi successivi