Introduzione al ciclo di vita del codice in Dataform

Questo documento descrive il ciclo di vita del codice in Dataform e i modi per e configurare la compilazione e l'esecuzione in Dataform.

Informazioni sul ciclo di vita del codice in Dataform

Il ciclo di vita del codice Dataform è costituito dalle seguenti fasi:

Sviluppo
Sviluppi un flusso di lavoro SQL in un Area di lavoro Dataform.
Compilation

Dataform compila il codice del flusso di lavoro SQL nella tua area di lavoro in SQL in tempo reale, creando un risultato di compilazione dell'area di lavoro che puoi eseguire in BigQuery. Dataform utilizza le impostazioni che tu definiti nel file delle impostazioni del flusso di lavoro per creare il risultato della compilazione.

La compilazione Dataform è ermetica per garantire la coerenza della compilazione il che significa che lo stesso codice viene compilato nello stesso risultato di compilazione SQL ogni volta. Dataform compila il tuo codice in una sandbox senza accesso a internet. Nessun'altra azione, ad esempio le chiamate le API esterne, disponibili durante la compilazione.

Esecuzione

In un'invocazione del flusso di lavoro, Dataform esegue il risultato della compilazione dell'area di lavoro in BigQuery.

Per personalizzare il ciclo di vita del codice Dataform in base alle tue esigenze, puoi configurare il risultato della compilazione in modo da influire su dove e come Dataform esegue il flusso di lavoro SQL. Quindi, puoi attivare o pianificare manualmente le esecuzioni per influenzare il momento in cui Dataform esegue l'intero flusso di lavoro SQL o elementi selezionati.

Modi per configurare la compilazione Dataform

Per impostazione predefinita, Dataform utilizza le impostazioni file delle impostazioni del flusso di lavoro per creare risultati della compilazione. Puoi eseguire l'override delle impostazioni predefinite con override delle compilazioni per creare risultati personalizzati. Puoi quindi attivare manualmente l'esecuzione di un risultato di compilazione personalizzato o pianificare le esecuzioni.

Dataform offre le seguenti opzioni di configurazione risultati della compilazione:

Override delle compilazioni delle aree di lavoro
Puoi configurare gli override della compilazione che si applicano a tutte le aree di lavoro in un repository. Puoi utilizzare gli override della compilazione delle aree di lavoro per creare di sviluppo software.
Configurazioni della release
Puoi creare configurazioni della release per configurare i modelli al fine di creare i risultati della compilazione di un repository Dataform. Puoi quindi creare un configurazione del flusso di lavoro per pianificare le esecuzioni dei risultati della compilazione creati in una configurazione release selezionata.
Sostituzioni di compilazione dell'API Dataform
Puoi passare le richieste dell'API Dataform nel terminale per creare ed eseguire un'istanza un singolo risultato di compilazione con override delle compilazioni.

Configura gli override di compilazione dell'area di lavoro

Con gli override della compilazione dell'area di lavoro, puoi creare override della compilazione per tutte le aree di lavoro in un repository Dataform. Puoi creare una configurazione di override della compilazione dell'area di lavoro per repository.

Quando attivi manualmente l'esecuzione in un'area di lavoro in un repository con override di compilazione delle aree di lavoro, si applica Dataform queste eseguono l'override al risultato di compilazione dell'area di lavoro.

Puoi configurare i seguenti override di compilazione delle aree di lavoro:

  • Progetto Google Cloud in cui Dataform esegue i contenuti dello spazio di lavoro
  • Prefisso tabella
  • Suffisso schema

Puoi utilizzare gli override della compilazione delle aree di lavoro per creare uno sviluppo isolato isolando i risultati di compilazione delle aree di lavoro in BigQuery con override delle compilazioni dinamiche. Gli override della compilazione del prefisso della tabella dinamica e del suffisso dello schema contengono la variabile ${workspaceName}. Quando attivi l'esecuzione in uno spazio di lavoro, Dataform sostituisce la variabile ${workspaceName} con il nome dello spazio di lavoro corrente, creando override di compilazione univoci per lo spazio di lavoro.

Tieni presente che non è possibile pianificare l'esecuzione dei risultati della compilazione create con override delle compilazioni delle aree di lavoro.

Crea configurazioni di release

Con le configurazioni della release, è possibile configurare modelli di impostazioni per la creazione i risultati delle compilazioni dei repository.

In una configurazione di release, puoi configurare override delle compilazioni impostazioni del flusso di lavoro, variabili di compilazione e la frequenza di creazione i risultati delle compilazioni dell'intero repository.

In una configurazione della release, puoi configurare i seguenti override della compilazione:

Puoi creare più configurazioni di release in un repository Dataform, una per ogni fase del ciclo di vita di sviluppo, creando risultati di compilazione del repository isolati.

In seguito, potrai creare configurazioni del flusso di lavoro per pianificare le esecuzioni di risultati della compilazione creati in una configurazione di release selezionata.

Puoi anche attivare manualmente l'esecuzione di un risultato di compilazione in una configurazione di release selezionata.

Configurare un singolo risultato di compilazione con le sostituzioni di compilazione dell'API Dataform

Passando le richieste API Dataform nel terminale, puoi configurare per un singolo risultato di compilazione.

Nella richiesta compilationResults.create, puoi creare un singolo risultato di compilazione di un Dataform Workspace o un commit Git specificato.

Nell'oggetto CodeCompilationConfig della classe richiesta compilationResults.create, puoi configurare gli override della compilazione per la richiesta di compilazione.

Puoi configurare i seguenti override della compilazione dell'API Dataform:

Tieni presente che le sostituzioni della compilazione dell'API Dataform si applicano a un singolo risultato di compilazione e a una singola esecuzione. Non puoi utilizzarle per pianificare Esecuzioni Dataform.

Puoi eseguire il risultato di una compilazione workflowInvocations.create richiesta.

Modi per configurare l'esecuzione di Dataform

Dataform offre le seguenti opzioni per configurare l'esecuzione:

Esecuzione manuale in un'area di lavoro
Puoi attivare manualmente l'esecuzione istantanea di un flusso di lavoro SQL in un'area di lavoro Dataform, al di fuori di qualsiasi pianificazione. Puoi eseguire alcune azioni nel flusso di lavoro SQL.
Configurazioni dei flussi di lavoro
Puoi pianificare l'esecuzione dei risultati della compilazione creati in un configurazione della release. Puoi selezionare le azioni di flusso di lavoro SQL da eseguire e impostare la frequenza e il fuso orario delle esecuzioni.

Attivare l'esecuzione istantanea in uno spazio di lavoro

In un'area di lavoro Dataform, puoi eseguire manualmente l'esecuzione immediata del flusso di lavoro SQL al di fuori di qualsiasi pianificazione.

Puoi eseguire manualmente i seguenti elementi del flusso di lavoro SQL nella tua area di lavoro:

Se il repository contiene override di compilazione delle aree di lavoro, puoi visualizzare gli override delle compilazioni Dataform verranno applicati all'area di lavoro il risultato della compilazione.

Crea configurazioni di flusso di lavoro

Con le configurazioni del flusso di lavoro, puoi pianificare l'esecuzione dei risultati della compilazione configurazione della release. Puoi creare più configurazioni di flusso di lavoro in un repository Dataform.

In una configurazione di flusso di lavoro, puoi configurare le seguenti impostazioni di esecuzione:

  • Configurazione della release di compilazione applicata
  • Selezione delle azioni del flusso di lavoro SQL da eseguire
  • Pianificazione e fuso orario delle esecuzioni

Puoi selezionare le seguenti azioni del flusso di lavoro SQL da eseguire:

  • Tutte le azioni
  • Azioni selezionate
  • Azioni con i tag selezionati

Poi, durante un'esecuzione pianificata della configurazione del flusso di lavoro, Dataform esegue il deployment della selezione di azioni dal risultato della compilazione applicata a BigQuery.

Le configurazioni di release Dataform e le configurazioni dei flussi di lavoro consentono configurare la compilazione e pianificare le esecuzioni in Dataform, senza dover fare affidamento su servizi aggiuntivi.

Scadenza delle risorse del ciclo di vita

Dataform archivia i risultati della compilazione e le chiamate del flusso di lavoro per un in uno specifico periodo di tempo.

Scadenza delle invocazioni del flusso di lavoro

Chiamate del flusso di lavoro scadono dopo 90 giorni o quando li elimini manualmente.

In una configurazione del flusso di lavoro, puoi visualizzare un elenco delle chiamate più recenti del flusso di lavoro creati dalla configurazione. Quando una chiamata creata da un flusso di lavoro scade, Dataform rimuove la chiamata del flusso di lavoro dall'elenco delle chiamate recenti.

Scadenza dei risultati della compilazione

La scadenza dei risultati di compilazione dipende dal modo in cui vengono creati: in uno spazio di lavoro di sviluppo, in una configurazione di release o tramite un'invocazione del flusso di lavoro.

Quando sviluppi un flusso di lavoro SQL in un'area di lavoro Dataform, Dataform compila il codice in un risultato di compilazione in tempo reale per fornire la convalida delle query. I risultati della compilazione creati in questo modo scadono dopo 24 ore.

In una configurazione della release, l'ultimo risultato di compilazione diventa il risultato di compilazione in produzione. Un nuovo risultato della compilazione sostituisce il risultato della compilazione in tempo reale corrente. Dataform conserva il risultato della compilazione in tempo reale finché non viene sostituito con un nuovo risultato della compilazione. Scadenza di un risultato di compilazione sostituito entro 24 ore.

Dataform rimuove i risultati della compilazione scaduti dall'elenco dei i risultati delle compilazioni precedenti sulla pagina Dettagli della configurazione di una release.

Dataform conserva i risultati delle compilazioni creati dalle chiamate del flusso di lavoro per l'intera durata della chiamata del flusso di lavoro, fino a 24 ore dopo scade o viene eliminata.

Passaggi successivi