Criar e executar um fluxo de trabalho SQL no Dataform

Criar e executar um fluxo de trabalho SQL no Dataform

Neste guia de início rápido, mostramos o seguinte processo no Dataform para criar um fluxo de trabalho SQL e executá-lo no BigQuery:

• Crie um repositório do Dataform.
• Crie e inicialize um espaço de trabalho de desenvolvimento do Dataform.
• Crie uma vista.
• Crie uma tabela.
• Conceda ao Dataform acesso ao BigQuery.
• Execute o fluxo de trabalho criado.
• Conferir os registros de execução no Dataform.
• Limpe os recursos criados.

Antes de começar

1. Faça login na sua conta do Google Cloud. Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.

2. No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

   Observação: se você não pretende manter os recursos criados neste procedimento, crie um projeto novo em vez de selecionar um que já existe. Depois de concluir essas etapas, é possível excluir o projeto. Para fazer isso, basta remover todos os recursos associados a ele.

   Acessar o seletor de projetos

3. Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

4. Ative as APIs BigQuery and Dataform.

   Ative as APIs

5. No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

   Observação: se você não pretende manter os recursos criados neste procedimento, crie um projeto novo em vez de selecionar um que já existe. Depois de concluir essas etapas, é possível excluir o projeto. Para fazer isso, basta remover todos os recursos associados a ele.

   Acessar o seletor de projetos

6. Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

7. Ative as APIs BigQuery and Dataform.

   Ative as APIs

Funções exigidas

Para receber as permissões necessárias para executar todas as tarefas neste tutorial, peça ao administrador para conceder a você os seguintes papéis do IAM:

• Administrador do Dataform (roles/dataform.admin) em repositórios
• Editor do Dataform (roles/dataform.editor) em espaços de trabalho e invocações de fluxo de trabalho

Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

Criar um repositório do Dataform

1. No console do Google Cloud, acesse a página do Dataform.

   Acesse o Dataform

2. Clique em Criar repositório.

3. Na página Criar repositório, faça o seguinte:

   1. No campo Código do repositório, insira quickstart-repository.

   2. Na lista Região, selecione europe-west4.

   3. Clique em Criar.

Criar e inicializar um espaço de trabalho de desenvolvimento do Dataform

1. No console do Google Cloud, acesse a página do Dataform.

   Acesse o Dataform

2. Clique em quickstart-repository.

3. Clique em Criar espaço de trabalho de desenvolvimento.

4. Na janela Criar espaço de trabalho de desenvolvimento, faça o seguinte:

   1. No campo Código do espaço de trabalho, digite quickstart-workspace.

   2. Clique em Criar.

   A página do espaço de trabalho de desenvolvimento é exibida.

5. Clique em Inicializar espaço de trabalho.

Observação: o Dataform inicializa seu espaço de trabalho com um conjunto de diretórios e arquivos de configuração que contêm configurações padrão para implantar fluxos de trabalho. É possível substituir as configurações padrão no arquivo dataform.json para atender melhor às suas necessidades, mas não é um requisito implantar fluxos de trabalho SQL no BigQuery. Neste guia de início rápido, usamos as configurações padrão do Dataform.

Criar uma visualização

Nas seções a seguir, defina uma visualização que será usada posteriormente como fonte de dados para uma tabela.

Criar um arquivo SQLX para definir uma visualização

1. No painel Files, ao lado de definitions/, clique no menu More.

2. Clique em Criar arquivo.

3. No painel Criar novo arquivo, faça o seguinte:

   1. No campo Adicionar um caminho de arquivo, insira definitions/quickstart-source.sqlx.

   2. Clique em Criar arquivo.

Definir uma visualização

1. No painel Arquivos, expanda a pasta de definições.

2. Clique em definitions/quickstart-source.sqlx.

3. No arquivo, digite o seguinte snippet de código:

   config {
     type: "view"
   }
   
   SELECT
     "apples" AS fruit,
     2 AS count
   UNION ALL
   SELECT
     "oranges" AS fruit,
     5 AS count
   UNION ALL
   SELECT
     "pears" AS fruit,
     1 AS count
   UNION ALL
   SELECT
     "bananas" AS fruit,
     0 AS count
   

4. Clique em Formatar.

Criar uma tabela

Nas seções a seguir, defina o tipo de tabela em um arquivo SQLX e, em seguida, escreva uma instrução SELECT para definir a estrutura da tabela no mesmo arquivo.

Criar um arquivo SQLX para definição de tabela

1. No painel Arquivos, ao lado de definitions/, clique no menu Mais e selecione Criar arquivo.

2. No campo Adicionar um caminho de arquivo, insira definitions/quickstart-table.sqlx.

3. Clique em Criar arquivo.

Definir o tipo, a estrutura e as dependências da tabela

1. No painel Arquivos, expanda o diretório definitions/.

2. Selecione quickstart-table.sqlx e insira o seguinte tipo de tabela e instrução SELECT:

   config {
     type: "table"
   }
   
   SELECT
     fruit,
     SUM(count) as count
   FROM ${ref("quickstart-source")}
   GROUP BY 1
   

3. Clique em Formatar.

   Observação :no snippet de código anterior, a função ref se refere à fonte de dados. Para mais informações, consulte Definir uma tabela.

Depois de definir o tipo de tabela, o Dataform gera um erro de validação de consulta porque quickstart-source ainda não existe no BigQuery. Esse erro é resolvido quando você executar o fluxo de trabalho SQL posteriormente neste tutorial.

Conceder acesso ao Dataform ao BigQuery

Para executar fluxos de trabalho no BigQuery, a conta de serviço do Dataform precisa ter os seguintes papéis necessários:

• Editor de dados do BigQuery em projetos em que o Dataform precisa de acesso de leitura e gravação. Eles geralmente incluem o projeto que hospeda o repositório do Dataform.
• Leitor de dados do BigQuery em projetos em que o Dataform precisa de acesso somente leitura.
• Usuário de jobs do BigQuery no projeto que hospeda o repositório do Dataform.

Para conceder esses papéis, siga estas etapas:

1. No console do Google Cloud, abra a página IAM.

   Acessar a página do IAM

2. Clique em Adicionar.

3. No campo Novos principais, insira o ID da conta de serviço do Dataform.

4. Na lista suspensa Selecionar um papel, escolha o papel Usuário de jobs do BigQuery.

5. Clique em Adicionar outro papel e, na lista suspensa Selecionar um papel, selecione o papel Editor de dados do BigQuery.

6. Clique em Adicionar outro papel e, na lista suspensa Selecionar um papel, selecione o papel Leitor de dados do BigQuery.

7. Clique em Save.

Executar o fluxo de trabalho

1. No console do Google Cloud, acesse a página do Dataform.

   Acesse o Dataform

2. Na página quickstart-workspace, clique em Iniciar execução.

3. Clique em Todas as ações.

4. No painel Execute, clique em Iniciar execução.

   O Dataform usa as configurações de repositório padrão para criar o conteúdo do seu fluxo de trabalho em um conjunto de dados do BigQuery chamado dataform.

Acessar registros de execução no Dataform

1. Na página quickstart-repository, clique em Registros de execução de fluxo de trabalho.

2. Para acessar os detalhes da execução, clique na última execução.

Limpar

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados nesta página, siga estas etapas.

Excluir o conjunto de dados criado no BigQuery

Para evitar cobranças por recursos do BigQuery, exclua o conjunto de dados chamado dataform.

1. No Console do Google Cloud, acesse a página BigQuery.

   Acessar o BigQuery

2. No painel Explorer, expanda o projeto e selecione dataform.

3. Clique no menu Ações e selecione Excluir.

4. Na caixa de diálogo Excluir conjunto de dados, digite delete no campo e clique em Excluir.

Excluir o espaço de trabalho de desenvolvimento do Dataform

A criação do espaço de trabalho de desenvolvimento do Dataform não gera custos. Para excluir o espaço de trabalho de desenvolvimento, siga estas etapas:

1. No console do Google Cloud, acesse a página do Dataform.

   Acesse o Dataform

2. Clique em quickstart-repository.

3. Na guia Espaços de trabalho de desenvolvimento, clique no menu Mais ao lado de quickstart-workspace e, em seguida, selecione Excluir.

4. Para confirmar, clique em Excluir.

Excluir o repositório do Dataform

A criação de repositórios do Dataform não gera custos. Para excluir o repositório, siga estas etapas:

1. No console do Google Cloud, acesse a página do Dataform.

   Acesse o Dataform

2. Ao quickstart-repository, clique no menu Mais e selecione Excluir.

3. Na janela Excluir repositório, insira o nome do repositório para confirmar a exclusão.

4. Para confirmar, clique em Excluir.

A seguir

• Para saber mais sobre o Dataform, consulte a Visão geral do Dataform.

• Para saber mais sobre os recursos do Dataform, consulte Visão geral dos recursos do Dataform.

• Para saber mais sobre o Dataform Core, consulte Visão geral do Dataform Core.

• Para saber como substituir as configurações padrão do Dataform do seu repositório, consulte Definir configurações do Dataform.

• Para saber mais sobre como gerenciar conjuntos de dados no BigQuery, consulte Como gerenciar conjuntos de dados.

• Para saber como gerenciar tabelas no BigQuery, consulte Gerenciar tabelas.