Introduzione al ciclo di vita del codice in Dataform

Questo documento descrive il ciclo di vita del codice in Dataform e i modi per e configurare la compilazione e l'esecuzione in Dataform.

Informazioni sul ciclo di vita del codice in Dataform

Il ciclo di vita del codice Dataform è costituito dalle seguenti fasi:

Sviluppo
Sviluppi un flusso di lavoro SQL in un Area di lavoro Dataform.
Compilation

Dataform compila il codice del flusso di lavoro SQL nell'area di lavoro in SQL creando un risultato di compilazione dell'area di lavoro che puoi eseguire in BigQuery. Dataform utilizza le impostazioni che tu definiti nel file delle impostazioni del flusso di lavoro per creare il risultato della compilazione.

La compilazione Dataform è ermetica per garantire la coerenza della compilazione, il che significa che lo stesso codice viene compilato nello stesso risultato di compilazione SQL ogni volta. Dataform compila il tuo codice in una sandbox senza accesso a internet. Nessuna azione aggiuntiva, come le chiamate le API esterne, disponibili durante la compilazione.

Esecuzione

In una chiamata da un flusso di lavoro, Dataform esegue il risultato di compilazione dell'area di lavoro in BigQuery.

Per personalizzare il ciclo di vita del codice Dataform in base alle tue esigenze, puoi configurare il il risultato della compilazione per influenzare dove e come Dataform che esegue il flusso di lavoro SQL. Quindi, puoi attivare o pianificare manualmente le esecuzioni per influenzare il momento in cui Dataform esegue l'intero flusso di lavoro SQL o elementi selezionati.

Modi per configurare la compilazione Dataform

Per impostazione predefinita, Dataform utilizza le impostazioni file delle impostazioni del flusso di lavoro per creare risultati della compilazione. Puoi eseguire l'override delle impostazioni predefinite con override delle compilazioni per creare risultati di compilazione personalizzati. Puoi quindi attivare manualmente l'esecuzione di un risultato di compilazione personalizzato o pianificare le esecuzioni.

Dataform offre le seguenti opzioni di configurazione risultati della compilazione:

Override delle compilazioni delle aree di lavoro
Puoi configurare gli override delle compilazioni che si applicano a tutte le aree di lavoro in un repository Git. Puoi utilizzare gli override delle compilazioni delle aree di lavoro per creare di sviluppo software.
Configurazioni della release
Puoi creare configurazioni della release per configurare i modelli al fine di creare i risultati della compilazione di un repository Dataform. Puoi quindi creare un configurazione del flusso di lavoro per pianificare le esecuzioni dei risultati della compilazione creati in una configurazione release selezionata.
Override delle compilazioni dell'API Dataform
Puoi passare le richieste dell'API Dataform nel terminale per creare ed eseguire un'istanza un singolo risultato di compilazione con override delle compilazioni.

Configura gli override di compilazione dell'area di lavoro

Con gli override delle compilazioni delle aree di lavoro, puoi creare override di compilazione per tutte le aree di lavoro in un Dataform repository Git. Puoi creare una configurazione di override delle compilazioni delle aree di lavoro per repository.

Quando attivi manualmente l'esecuzione in un'area di lavoro in un repository con override di compilazione delle aree di lavoro, si applica Dataform queste eseguono l'override al risultato di compilazione dell'area di lavoro.

Puoi configurare i seguenti override di compilazione delle aree di lavoro:

  • nel progetto Google Cloud in cui Dataform esegue i contenuti area di lavoro
  • Prefisso tabella
  • Suffisso schema

Puoi utilizzare gli override della compilazione delle aree di lavoro per creare uno sviluppo isolato ambienti isolando i risultati di compilazione delle aree di lavoro in BigQuery con override delle compilazioni dinamiche. Prefisso tabella dinamica e gli override della compilazione dei suffissi dello schema contengono la variabile ${workspaceName}. Quando attivi l'esecuzione in un'area di lavoro, Dataform sostituisce il Variabile ${workspaceName} con il nome dell'area di lavoro corrente, creazione in corso gli override della compilazione univoci per l'area di lavoro.

Tieni presente che non è possibile pianificare l'esecuzione dei risultati della compilazione create con override delle compilazioni delle aree di lavoro.

Crea configurazioni di release

Con le configurazioni della release, puoi configurare modelli di impostazioni per la creazione i risultati delle compilazioni dei repository.

In una configurazione di release, puoi configurare override delle compilazioni impostazioni del flusso di lavoro, variabili di compilazione e la frequenza di creazione i risultati delle compilazioni dell'intero repository.

In una configurazione di release, puoi configurare quanto segue sostituzioni delle compilazioni:

Puoi creare più configurazioni di release in un Dataform uno per ogni fase del ciclo di vita di sviluppo, creando istanze i risultati della compilazione dei repository.

In seguito, potrai creare configurazioni del flusso di lavoro per pianificare le esecuzioni di risultati della compilazione creati in una configurazione di release selezionata.

Puoi anche attivare manualmente l'esecuzione di un risultato di compilazione in una configurazione della release selezionata.

Configura un singolo risultato di compilazione con gli override della compilazione dell'API Dataform

Passando le richieste API Dataform nel terminale, puoi configurare per un singolo risultato di compilazione.

Nella richiesta compilationResults.create, puoi creare un singolo risultato di compilazione di un Dataform Workspace o un commit Git specificato.

Nell'oggetto CodeCompilationConfig della classe richiesta compilationResults.create, puoi configurare gli override della compilazione per la richiesta di compilazione.

Puoi configurare i seguenti override di compilazione dell'API Dataform:

Tieni presente che gli override delle compilazioni dell'API Dataform si applicano a una singola il risultato della compilazione e una singola esecuzione. Non puoi utilizzarle per pianificare Esecuzioni Dataform.

Puoi eseguire il risultato di una compilazione workflowInvocations.create richiesta.

Modi per configurare l'esecuzione di Dataform

Dataform offre le seguenti opzioni per configurare l'esecuzione:

Esecuzione manuale in un'area di lavoro
Puoi attivare manualmente l'esecuzione istantanea di un flusso di lavoro SQL in un'area di lavoro Dataform, al di fuori di qualsiasi pianificazione. Puoi eseguire le azioni selezionate nel flusso di lavoro SQL.
Configurazioni del flusso di lavoro
Puoi pianificare l'esecuzione dei risultati della compilazione creati in un configurazione della release. Puoi selezionare le azioni del flusso di lavoro SQL da eseguire e imposta la frequenza e il fuso orario delle esecuzioni.

Attiva l'esecuzione istantanea in un'area di lavoro

In un'area di lavoro Dataform, puoi eseguire manualmente l'esecuzione istantanea del flusso di lavoro SQL nell'area di lavoro, al di fuori di qualsiasi pianificazione.

Puoi eseguire manualmente i seguenti elementi del flusso di lavoro SQL in area di lavoro:

Se il repository contiene override di compilazione delle aree di lavoro, puoi visualizzare gli override della compilazione Dataform verranno applicati all'area di lavoro il risultato della compilazione.

Crea configurazioni di flusso di lavoro

Con le configurazioni del flusso di lavoro, puoi pianificare l'esecuzione dei risultati della compilazione configurazione della release. Puoi creare più configurazioni di flusso di lavoro in un repository Dataform.

In una configurazione di flusso di lavoro, puoi configurare le seguenti impostazioni di esecuzione:

  • Configurazione della release di compilazione applicata
  • Selezione delle azioni del flusso di lavoro SQL da eseguire
  • Pianificazione e fuso orario delle esecuzioni

Puoi selezionare le seguenti azioni da eseguire del flusso di lavoro SQL:

  • Tutte le azioni
  • Azioni selezionate
  • Azioni con tag selezionati

Poi, durante un'esecuzione pianificata della configurazione del flusso di lavoro, Dataform esegue il deployment della tua selezione di azioni dall'applicazione il risultato della compilazione in BigQuery.

Le configurazioni di release Dataform e le configurazioni dei flussi di lavoro consentono configurare la compilazione e pianificare le esecuzioni in Dataform, senza dover fare affidamento su servizi aggiuntivi.

Scadenza delle risorse del ciclo di vita

Dataform archivia i risultati della compilazione e le chiamate del flusso di lavoro per un in uno specifico periodo di tempo.

Scadenza delle chiamate del flusso di lavoro

Chiamate del flusso di lavoro scadono dopo 90 giorni o quando li elimini manualmente.

In una configurazione del flusso di lavoro, puoi visualizzare un elenco delle chiamate più recenti del flusso di lavoro creati dalla configurazione. Quando una chiamata creata da un flusso di lavoro scade, Dataform rimuove la chiamata del flusso di lavoro dall'elenco delle chiamate recenti.

Scadenza dei risultati della compilazione

Scadenza dei risultati della compilazione dipende dal modo in cui vengono creati: in un'area di lavoro di sviluppo, in una configurazione di release o mediante una chiamata di un flusso di lavoro.

Quando sviluppi un flusso di lavoro SQL in un'area di lavoro Dataform, Dataform compila il tuo codice in un risultato di compilazione in tempo reale per fornire la convalida della query. I risultati della compilazione creati in questo modo scadono dopo 24 ore.

In una configurazione di release, l'ultima compilazione diventa la live il risultato della compilazione. La live attuale verrà sostituita da un nuovo risultato di compilazione il risultato della compilazione. Dataform conserva il risultato della compilazione in tempo reale finché non viene sostituito con un nuovo risultato della compilazione. Scadenza di un risultato di compilazione sostituito entro 24 ore.

Dataform rimuove i risultati della compilazione scaduti dall'elenco dei i risultati delle compilazioni precedenti sulla pagina Dettagli della configurazione di una release.

Dataform conserva i risultati delle compilazioni creati dalle chiamate del flusso di lavoro per l'intera durata della chiamata del flusso di lavoro, fino a 24 ore dopo scade o viene eliminata.

Passaggi successivi