Programar execuções de produção
Neste guia de início rápido, mostramos as etapas para programar execuções de produção no Dataform:
- Crie um repositório do Dataform.
- Conceder acesso ao Dataform ao BigQuery.
Crie uma configuração de versão para configurar o ambiente de produção.
Crie uma configuração de versão
production
e defina a frequência de criação de resultados de compilaçãoproduction
.Crie uma configuração de fluxo de trabalho para programar execuções no ambiente de produção.
Crie uma configuração de fluxo de trabalho
production
, selecione a configuração de lançamentoproduction
e defina uma programação para executar os resultados da compilaçãoproduction
.
Antes de começar
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Verify that billing is enabled for your Google Cloud project.
-
Enable the BigQuery and Dataform APIs.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Verify that billing is enabled for your Google Cloud project.
-
Enable the BigQuery and Dataform APIs.
-
Administrador do Dataform (
roles/dataform.admin
) em repositórios -
Editor do Dataform (
roles/dataform.editor
) em espaços de trabalho e invocações de fluxos de trabalho No Google Cloud console, acesse a página Dataform.
Clique em
Criar repositório.Na página Criar repositório, faça o seguinte:
No campo Código do repositório, insira
quickstart-production
.Na lista Região, selecione
europe-west4
.Clique em Criar.
Clique em Concluído.
- Editor de dados do BigQuery em projetos em que o Dataform precisa de acesso de leitura e gravação. Eles geralmente incluem o projeto que hospeda seu repositório do Dataform.
- Leitor de dados do BigQuery em projetos que precisam de acesso somente leitura do Dataform.
- Usuário de jobs do BigQuery no projeto que hospeda seu repositório do Dataform.
No console do Google Cloud , acesse a página IAM.
Clique em Adicionar.
No campo Novos principais, digite o ID da conta de serviço do Dataform.
Na lista Selecionar um papel, escolha o papel Usuário de jobs do BigQuery.
Clique em Adicionar outro papel. Em seguida, na lista Selecionar um papel, escolha Editor de dados do BigQuery.
Clique em Adicionar outro papel e, na lista Selecionar papel, escolha Leitor de dados do BigQuery.
Clique em Salvar.
No Google Cloud console, acesse a página Dataform.
Clique em
quickstart-production
.Clique em Configurações da versão e em Nova configuração da versão.
No painel Criar configuração de versão, defina as seguintes configurações:
No campo ID da versão, digite
production
.No campo Commitish do Git, deixe o valor padrão
main
.No menu Frequência, selecione Personalizada.
No campo Programação personalizada, insira
0 16 * * *
.No menu Fuso horário, selecione um fuso horário UTC+1, por exemplo, Horário de Greenwich (GMT).
Todos os dias às 16h UTC+1, o Dataform compila o repositório
quickstart-production
e aplica as configurações de compilação configuradas nessa configuração de versão para criar resultados de compilaçãoproduction
.Clique em Criar.
No Google Cloud console, acesse a página Dataform.
Clique em
quickstart-production
.Clique em Configurações do fluxo de trabalho e em Nova configuração do fluxo de trabalho.
No painel Criar configuração do fluxo de trabalho, no campo ID da configuração, digite
production
.No menu Configuração da versão, selecione
production
.No campo Frequência, use
0 17 * * *
.No menu Fuso horário, selecione um fuso horário UTC+1, por exemplo, Horário de Greenwich (GMT).
Todos os dias às 17h UTC+1, o Dataform executa o resultado da compilação
production
mais recente do repositórioquickstart-production
.Para garantir que o Dataform execute o resultado da compilação mais recente na configuração de lançamento correspondente, mantenha um intervalo mínimo de uma hora entre o momento da criação do resultado da compilação e o momento da execução programada.
Clique em Todas as ações.
O Dataform executa todas as ações do fluxo de trabalho no resultado da compilação
production
.Clique em Criar.
No Google Cloud console, acesse a página Dataform.
Clique em
quickstart-production
.Clique em Configurações da versão.
Clique em
production
.No Google Cloud console, acesse a página Dataform.
Clique em
quickstart-production
.Clique em Configurações do fluxo de trabalho.
No console do Google Cloud , acesse a página BigQuery.
No painel Explorer, expanda o projeto e selecione
dataform_production
.Clique no menu
Ações e selecione Excluir.Na caixa de diálogo Excluir conjunto de dados, insira excluir e clique em Excluir.
No Google Cloud console, acesse a página Dataform.
Clique em
quickstart-production
.Clique em Configurações da versão.
Na configuração da versão
production
, clique no menu Mais e em Excluir.Na caixa de diálogo Excluir configuração da versão, clique em Excluir.
No Google Cloud console, acesse a página Dataform.
Clique em
quickstart-production
.Clique em Configurações do fluxo de trabalho.
Na configuração do fluxo de trabalho
production
, clique no menu Mais e em Excluir.Na caixa de diálogo Excluir configuração da versão, clique em Excluir.
No Google Cloud console, acesse a página Dataform.
Em
quickstart-production
, clique no menu Mais e selecione Excluir.Na janela Excluir repositório, insira o nome do repositório para confirmar a exclusão.
Para confirmar, clique em Excluir.
Para saber mais sobre o ciclo de vida do código no Dataform, consulte Introdução ao ciclo de vida do código no Dataform.
Para saber mais sobre as práticas recomendadas para o ciclo de vida do fluxo de trabalho no Dataform, consulte Práticas recomendadas para o ciclo de vida do fluxo de trabalho.
Para saber mais sobre as configurações de lançamento no Dataform, consulte Criar uma configuração de lançamento.
Para saber mais sobre as configurações de fluxo de trabalho no Dataform, consulte Programar execuções com configurações de fluxo de trabalho.
Funções exigidas
Para receber as permissões necessárias para realizar todas as tarefas deste tutorial, peça ao administrador para conceder a você os seguintes papéis do IAM:
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.
Criar um repositório do Dataform
conceder acesso ao Dataform ao BigQuery
Para executar fluxos de trabalho no BigQuery, a conta de serviço do Dataform precisa ter os seguintes papéis obrigatórios:
Para conceder esses papéis, siga estas etapas:
Criar uma configuração de versão
Para criar resultados de compilação de produção do repositório quickstart-production
, siga estas etapas:
A configuração de lançamento production
cria um resultado de compilação de todo o repositório quickstart-production
todos os dias às 16h UTC+1.
Criar uma configuração de fluxo de trabalho
Para programar a execução de tabelas production
, siga estas etapas:
A configuração do fluxo de trabalho production
executa todo o resultado da compilação mais recente criado pela configuração da versão production
todos os dias às 16h UTC+1.
Conferir resultados anteriores de compilação do production
Para conferir os resultados de compilação de production
programados anteriores, siga estas etapas:
Conferir execuções anteriores do fluxo de trabalho do production
Para conferir execuções anteriores do fluxo de trabalho production
, siga estas etapas:
Limpar
Para evitar cobranças na conta do Google Cloud pelos recursos usados nesta página, siga as etapas abaixo.
Excluir o conjunto de dados criado no BigQuery
Para evitar cobranças por recursos do BigQuery, siga estas etapas para excluir o conjunto de dados chamado dataform_production
:
Excluir a configuração da versão do Dataform
Não há custos associados à criação de configurações de lançamento do Dataform. No entanto, se você quiser excluir a configuração de lançamento production
, siga estas etapas:
Excluir a configuração do fluxo de trabalho do Dataform
Para evitar cobranças pelos recursos do BigQuery, siga estas etapas para excluir a configuração do fluxo de trabalho production
do Dataform:
Excluir o repositório do Dataform
Não há custos associados à criação de repositórios do Dataform. No entanto, se você quiser excluir um repositório e todo o conteúdo dele, siga estas etapas: