Declarar dependências

Neste documento, você verá como definir a relação entre objetos no seu fluxo de trabalho SQL no Dataform declarando dependências.

É possível definir um relacionamento de dependência entre objetos de um fluxo de trabalho SQL. Em uma relação de dependência, a execução do objeto dependente depende da execução do objeto de dependência. Isso significa que o Dataform executa o dependente após a outra. Para definir o relacionamento, declare dependências dentro do arquivo de definição SQLX do objeto dependente.

As declarações de dependência compõem uma árvore de dependências do fluxo de trabalho do SQL, que determina a ordem em que o Dataform executa os objetos do fluxo de trabalho do SQL.

É possível definir a relação de dependência entre os seguintes objetos de fluxo de trabalho SQL:

Declarações da fonte de dados
Declarações de fontes de dados do BigQuery que permitem fazer referência a essas fontes em definições de tabela do Dataform e operações SQL. É possível definir uma declaração de fonte de dados como dependência, mas não como dependente.
Tables
Tabelas que você cria no Dataform com base nas fontes de dados declaradas ou outras tabelas no seu fluxo de trabalho SQL. O Dataform oferece suporte aos seguintes tipos de tabela: tabela, tabela incremental, visualização e visualização materializada. É possível definir uma tabela como dependência e como dependente.
Operações SQL personalizadas
Instruções SQL que o Dataform executa no BigQuery como estão, sem modificação. É possível configurar uma operação SQL personalizada definida em um arquivo type: operations como dependência e como dependente. Para declarar uma operação SQL personalizada como uma dependência na função ref, você precisa definir a propriedade hasOutput como true no arquivo SQLX da operação SQL personalizada.
Declarações
Consultas de teste de qualidade de dados que podem ser usadas para testar dados em tabelas. O Dataform executa declarações sempre que atualiza seu fluxo de trabalho SQL e alerta caso alguma delas falhe. É possível definir uma declaração definida em um arquivo type: assertion como uma dependência e como dependente declarando dependências no bloco config.

É possível definir a relação de dependência das seguintes maneiras:

Antes de começar

  1. Crie e inicialize um espaço de trabalho de desenvolvimento no seu repositório.
  2. Opcional: declarar uma fonte de dados.
  3. Crie pelo menos dois objetos de fluxo de trabalho SQL: tabelas, declarações, declarações de fonte de dados ou operations.

Funções exigidas

Para receber as permissões necessárias para declarar dependências para tabelas, declarações, declarações de origem de dados e operações SQL personalizadas, peça ao administrador para conceder a você o papel de IAM Editor do Dataform (roles/dataform.editor) nos espaços de trabalho. Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

Também é possível receber as permissões necessárias com papéis personalizados ou outros papéis predefinidos.

Declarar uma dependência como um argumento da função ref

Para referenciar e declarar automaticamente uma dependência em uma instrução SELECT, adicione a dependência como argumento da função ref.

A ref é uma função integrada principal do Dataform que permite referenciar e depender automaticamente de qualquer tabela, declaração de fonte de dados ou operação SQL personalizada com a propriedade hasOutput definida como true no fluxo de trabalho SQL.

Para mais informações sobre a função ref, consulte a referência dos métodos de contexto principais do Dataform.

Para mais informações sobre como usar a função ref em uma definição de tabela, consulte Sobre definições de tabela.

O exemplo de código a seguir mostra a declaração de fonte de dados source_data adicionada como um argumento da função ref no arquivo de definição incremental_table.sqlx SQLX de uma tabela incremental:

// filename is incremental_table.sqlx

config { type: "incremental" }

SELECT * FROM ${ref("source_data")}

No exemplo de código anterior, source_data é automaticamente declarado como uma dependência de incremental_table.

O exemplo de código a seguir mostra o arquivo SQLX de definição de tabela some_table adicionado como um argumento da função ref no arquivo de definição SQLX custom_assertion.sqlx de uma declaração:

// filename is custom_assertion.sqlx

config { type: "assertion" }

SELECT
  *
FROM
  ${ref("some_table")}
WHERE
  a is null
  or b is null
  or c is null

No exemplo de código anterior, some_table é automaticamente declarado como uma dependência de custom_assertion. Durante a execução, o Dataform executa some_table primeiro e, em seguida, executa custom_assertion depois que some_table é criado.

Declare as dependências no bloco config.

Para declarar dependências que não são referenciadas na definição da instrução SQL do dependente, mas que precisam ser executadas antes da tabela, declaração ou operação SQL personalizada, siga estas etapas:

  1. No espaço de trabalho de desenvolvimento, no painel Arquivos, expanda o diretório definitions/.
  2. Selecione a tabela, declaração ou arquivo SQLX de operação SQL personalizada que você quer editar.

  3. No bloco config do arquivo, insira o seguinte snippet de código:

    dependencies: [ "DEPENDENCY", ]

    Substitua DEPENDENCY pelo nome do arquivo da tabela, declaração, declaração da fonte de dados ou operação SQL personalizada que você quer adicionar como dependência. É possível inserir vários nomes de arquivos separados por vírgulas.

  4. Opcional: clique em Formatar.

O exemplo de código a seguir mostra a tabela some_table e a declaração some_assertion adicionadas como dependências ao bloco config de um arquivo de definição de tabela:

config { dependencies: [ "some_table", "some_assertion" ] }

A seguir