Dichiarazione di dipendenze

Questo documento mostra come definire la relazione tra gli oggetti nel flusso di lavoro SQL in Dataform dichiarando le dipendenze.

Puoi definire una relazione di dipendenza tra gli oggetti di un flusso di lavoro SQL. In una relazione di dipendenza, l'esecuzione dell'oggetto dipendente dipende dall'esecuzione dell'oggetto dipendenza. Ciò significa che Dataform esegue l'elemento dipendente dopo la dipendenza. La relazione viene definita dichiarando le dipendenze all'interno del file di definizione SQLX dell'oggetto dipendente.

Le dichiarazioni di dipendenza costituiscono un albero di dipendenza del flusso di lavoro SQL che determina l'ordine in cui Dataform esegue gli oggetti del flusso di lavoro SQL.

Puoi definire la relazione di dipendenza tra i seguenti oggetti del flusso di lavoro SQL:

Dichiarazioni delle origini dati
Dichiarazioni delle origini dati BigQuery che ti consentono di fare riferimento a queste origini dati nelle definizioni delle tabelle e nelle operazioni SQL di Dataform. Puoi impostare una dichiarazione dell'origine dati come dipendenza, ma non come elemento dipendente.
Tabelle
Le tabelle create in Dataform in base alle origini dati dichiarate o ad altre tabelle nel flusso di lavoro SQL. Dataform supporta i seguenti tipi di tabelle: tabella, tabella incrementale, visualizzazione e vista materializzata. Puoi impostare una tabella come dipendenza e come dipendente.
Operazioni SQL personalizzate
Comandi SQL che Dataform esegue in BigQuery così come sono, senza modifiche. Puoi impostare un'operazione SQL personalizzata definita in un type: operations file come dipendenza e come elemento dipendente. Per dichiarare un'operazione SQL personalizzata come dipendenza nella funzione ref, devi impostare la proprietà hasOutput su true nel file di definizione SQLX dell'operazione SQL personalizzata.
Verifiche
Query di test della qualità dei dati che puoi utilizzare per testare i dati della tabella. Dataform esegue le verifiche ogni volta che aggiorna il flusso di lavoro SQL e ti avvisa se una verifica non va a buon fine. Puoi impostare un'affermazione definita in un file type: assertion come dipendenza e come dipendente dichiarando le dipendenze nel blocco config.

Puoi definire la relazione di dipendenza nei seguenti modi:

Prima di iniziare

  1. Crea e inizializza uno spazio di lavoro di sviluppo nel tuo repository.
  2. (Facoltativo) Dichiara un'origine dati.
  3. Crea almeno due oggetti di flusso di lavoro SQL: tabelle, asserzioni, dichiarazioni delle origini dati o operazioni.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per dichiarare le dipendenze per tabelle, asserzioni, dichiarazioni di origini dati e operazioni SQL personalizzate, chiedi all'amministratore di concederti il ruolo IAM Editor di Dataform (roles/dataform.editor) negli spazi di lavoro. Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Dichiarare una dipendenza come argomento della funzione ref

Per fare riferimento a una dipendenza e dichiararla automaticamente in un'istruzione SELECT, aggiungi la dipendenza come argomento della funzione ref.

La funzione ref è una funzione di Dataform integrata di base che consente di fare riferimento e dipendere automaticamente da qualsiasi tabella, dichiarazione dell'origine dati o operazione SQL personalizzata con la proprietà hasOutput impostata su true nel tuo flusso di lavoro SQL.

Per ulteriori informazioni sulla funzione ref, consulta Riferimento ai metodi di contesto di Dataform.

Per ulteriori informazioni sull'utilizzo della funzione ref in una definizione di tabella, consulta Informazioni sulle definizioni di tabella.

Il seguente esempio di codice mostra la dichiarazione dell'origine dati source_data aggiunta come argomento della funzione ref nel file di definizione SQLX incremental_table.sqlx di una tabella incrementale:

// filename is incremental_table.sqlx

config { type: "incremental" }

SELECT * FROM ${ref("source_data")}

Nell'esempio di codice precedente, source_data viene dichiarata automaticamente come dipendenza di incremental_table.

Il seguente esempio di codice mostra il file SQLX di definizione della tabella some_table aggiunto come argomento della funzione ref nel file di definizione SQLX custom_assertion.sqlx di un'affermazione:

// filename is custom_assertion.sqlx

config { type: "assertion" }

SELECT
  *
FROM
  ${ref("some_table")}
WHERE
  a is null
  or b is null
  or c is null

Nell'esempio di codice precedente, some_table viene dichiarata automaticamente come dipendenza di custom_assertion. Durante l'esecuzione, Dataform esegue prima some_table e poi custom_assertion dopo la creazione di some_table.

Dichiarare le dipendenze nel blocco config

Per dichiarare le dipendenze a cui non viene fatto riferimento nella definizione dell'istruzione SQL della dipendenza, ma che devono essere eseguite prima della tabella, dell'affermazione o dell'operazione SQL personalizzata, segui questi passaggi:

  1. Nell'area di lavoro di sviluppo, espandi la directory definitions/ nel riquadro File.
  2. Seleziona la tabella, l'affermazione o il file SQLX dell'operazione SQL personalizzata che vuoi modificare.

  3. Nel blocco config del file, inserisci il seguente snippet di codice:

    dependencies: [ "DEPENDENCY", ]

    Sostituisci DEPENDENCY con la stringa target, ad esempio il nome file dell'azione che vuoi aggiungere come dipendenza. Puoi inserire più obiettivi, separati da virgole.

  4. (Facoltativo) Fai clic su Formato.

Il seguente esempio di codice mostra la tabella some_table e l'affermazione some_assertion aggiunte come dipendenze al blocco config di un file di definizione della tabella:

config { dependencies: [ "some_table", "some_assertion" ] }

Passaggi successivi