Declarar uma fonte de dados

Neste documento, mostramos como declarar fontes de dados do BigQuery com o Dataform Core.

É possível declarar qualquer tipo de tabela do BigQuery como fonte de dados no Dataform. Ao declarar fontes de dados do BigQuery que são externas ao Dataform, é possível tratá-las como objetos de primeira classe do Dataform. Depois de declarar uma fonte de dados, você pode referenciar ou resolvê-la da mesma maneira que qualquer outra tabela no Dataform.

Antes de começar

Antes de declarar uma fonte de dados, crie e inicialize um espaço de trabalho de desenvolvimento no seu repositório.

Funções exigidas

Para ter as permissões necessárias para declarar uma fonte de dados, peça ao administrador para conceder a você o papel do IAM de Editor do Dataform (roles/dataform.editor) nos espaços de trabalho. Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

Talvez você também consiga receber as permissões necessárias por meio de papéis personalizados ou outros papéis predefinidos.

Criar um arquivo SQLX para a declaração da fonte de dados

Armazene arquivos SQLX para declarações de fonte de dados no diretório definitions/. Para criar um novo arquivo SQLX no diretório definitions/, siga estas etapas:

  1. No console do Cloud, acesse a página Dataform.

    Acessar a página do Dataform

  2. Selecione um repositório.

  3. Selecione um espaço de trabalho de desenvolvimento.

  4. No painel Arquivos, ao lado de definitions/, clique no menu Mais.

  5. Clique em Criar arquivo.

  6. No painel Criar novo arquivo, faça o seguinte:

    1. No campo Add a file path, depois de definitions/, insira o nome do arquivo seguido de .sqlx. Por exemplo, definitions/dataset-declaration.sqlx.

      Os nomes de arquivos só podem incluir números, letras, hifens e sublinhados.

    2. Clique em Criar arquivo.

Declarar uma fonte de dados

É possível declarar uma fonte de dados por um arquivo de declaração SQLX. Para declarar uma fonte de dados no bloco de configuração de um arquivo SQLX, siga estas etapas:

  1. No espaço de trabalho de desenvolvimento, no painel Arquivos, clique no arquivo SQLX para a declaração da fonte de dados.

  2. No arquivo, digite o seguinte snippet de código:

    config {
  type: "declaration",
  database: "DATABASE",
  schema: "SCHEMA",
  name: "NAME",
}

    Substitua:

    • DATABASE: o ID do projeto que contém a fonte de dados.
    • SCHEMA: o conjunto de dados do BigQuery em que a fonte de dados está.
    • NAME: o nome da tabela ou visualização que você quer usar como a fonte de dados. Mais tarde, você poderá usar esse nome para se referir à fonte de dados no Dataform.

  3. Opcional: clique em Formatar.

O exemplo de código a seguir mostra um exemplo de declaração da tabela shakespeare no conjunto de dados samples do projeto bigquery-public-data como uma fonte de dados:

    config {
      type: "declaration",
      database: "bigquery-public-data",
      schema: "samples",
      name: "shakespeare",
    }

A seguir