Programar execuções de produção

Programar execuções de produção

Neste guia de início rápido, mostramos as etapas a seguir para programar execuções de produção no Dataform:

• Crie um repositório do Dataform.
• Conceda ao Dataform acesso ao BigQuery.

• Crie uma configuração de versão para definir o ambiente de produção.

  Crie uma configuração de versão production com a frequência de criação de resultados de compilação production.

• Criar uma configuração de fluxo de trabalho para programar execuções no ambiente de produção.

  Crie uma configuração de fluxo de trabalho production, selecione a configuração de versão production e defina uma programação para executar os resultados da compilação production.

• Conferir resultados de compilações anteriores.

• Ver execuções anteriores.

• Limpe os recursos criados.

Antes de começar

1. Faça login na sua conta do Google Cloud. Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.

2. No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

   Observação: se você não pretende manter os recursos criados neste procedimento, crie um projeto novo em vez de selecionar um que já existe. Depois de concluir essas etapas, é possível excluir o projeto. Para fazer isso, basta remover todos os recursos associados a ele.

   Acessar o seletor de projetos

3. Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

4. Ative as APIs BigQuery and Dataform.

   Ative as APIs

5. No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

   Observação: se você não pretende manter os recursos criados neste procedimento, crie um projeto novo em vez de selecionar um que já existe. Depois de concluir essas etapas, é possível excluir o projeto. Para fazer isso, basta remover todos os recursos associados a ele.

   Acessar o seletor de projetos

6. Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

7. Ative as APIs BigQuery and Dataform.

   Ative as APIs

Funções exigidas

Para receber as permissões necessárias para executar todas as tarefas neste tutorial, peça ao administrador para conceder a você os seguintes papéis do IAM:

• Administrador do Dataform (roles/dataform.admin) em repositórios
• Editor do Dataform (roles/dataform.editor) em espaços de trabalho e invocações de fluxo de trabalho

Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

Criar um repositório do Dataform

1. No console do Google Cloud, acesse a página do Dataform.

   Acesse o Dataform

2. Clique em Criar repositório.

3. Na página Criar repositório, faça o seguinte:

   1. No campo Código do repositório, insira quickstart-production.

   2. Na lista Região, selecione europe-west4.

   3. Clique em Criar.

4. Clique em Concluído.

Conceder acesso ao Dataform ao BigQuery

Para executar fluxos de trabalho no BigQuery, a conta de serviço do Dataform precisa ter os seguintes papéis necessários:

• Editor de dados do BigQuery em projetos em que o Dataform precisa de acesso de leitura e gravação. Eles geralmente incluem o projeto que hospeda o repositório do Dataform.
• Leitor de dados do BigQuery em projetos em que o Dataform precisa de acesso somente leitura.
• Usuário de jobs do BigQuery no projeto que hospeda o repositório do Dataform.

Para conceder esses papéis, siga estas etapas:

1. No console do Google Cloud, abra a página IAM.

   Acessar a página do IAM

2. Clique em Adicionar.

3. No campo Novos principais, insira o ID da conta de serviço do Dataform.

4. Na lista suspensa Selecionar um papel, escolha o papel Usuário de jobs do BigQuery.

5. Clique em Adicionar outro papel e, na lista suspensa Selecionar um papel, selecione o papel Editor de dados do BigQuery.

6. Clique em Adicionar outro papel e, na lista suspensa Selecionar um papel, selecione o papel Leitor de dados do BigQuery.

7. Clique em Save.

Criar uma configuração de versão

Para criar resultados de compilação de produção do repositório quickstart-production, siga estas etapas:

1. No console do Google Cloud, acesse a página do Dataform.

   Acesse o Dataform

2. Clique em quickstart-production.

3. Clique em Configurações de versão e em Nova configuração de versão.

4. No painel Criar configuração de versão, defina as seguintes configurações:

   1. No campo ID da versão, digite production.

   2. No campo Git commitish, deixe o valor padrão main .

   3. No menu suspenso Frequência, selecione Personalizado.

   4. No campo Programação personalizada, insira 0 16 * * *.

   5. No menu suspenso Fuso horário, selecione um fuso horário UTC+1, por exemplo, Horário de Greenwich (GMT).

   Todos os dias, às 16h UTC+1, o Dataform vai compilar o repositório quickstart-production e aplicar as configurações de compilação definidas nesta configuração de versão para criar resultados de compilação production.

5. Clique em Criar.

A configuração de versão production cria um resultado de compilação de todo o repositório quickstart-production todos os dias às 16h UTC+1.

Criar uma configuração de fluxo de trabalho

Para programar a execução de tabelas production, siga estas etapas:

1. No console do Google Cloud, acesse a página do Dataform.

   Acesse o Dataform

2. Clique em quickstart-production.

3. Clique em Configurações de fluxo de trabalho e, em seguida, clique em Nova configuração de fluxo de trabalho.

4. No painel Criar configuração do fluxo de trabalho, no campo ID de configuração, insira production.

5. No menu suspenso Configuração da versão, selecione production.

6. No campo Frequência, use 0 17 * * *.

7. No menu suspenso Fuso horário, selecione um fuso horário UTC+1, por exemplo, Horário de Greenwich (GMT).

   Todos os dias, às 17h UTC+1, o Dataform executará o resultado mais recente da compilação production do repositório quickstart-production.

   Para garantir que o Dataform execute o resultado mais recente da compilação na configuração de lançamento correspondente, mantenha um intervalo mínimo de uma hora entre o momento da criação do resultado e o da execução programada.

8. Clique em Todas as ações.

   O Dataform vai executar todas as ações do fluxo de trabalho SQL no resultado da compilação production.

9. Clique em Criar.

A configuração do fluxo de trabalho production executa todo o resultado de compilação mais recente criado pela configuração de versão production todos os dias às 16h UTC+1.

Mostrar resultados anteriores da compilação de production

Para conferir os resultados da compilação de production programada anteriormente, siga estas etapas:

1. No console do Google Cloud, acesse a página do Dataform.

   Acesse o Dataform

2. Clique em quickstart-production.

3. Clique em Configurações da versão.

4. Clique em production.

Mostrar production execuções anteriores de fluxo de trabalho

Para ver as production execuções anteriores de fluxo de trabalho, siga estas etapas:

1. No console do Google Cloud, acesse a página do Dataform.

   Acesse o Dataform

2. Clique em quickstart-production.

3. Clique em Configurações do fluxo de trabalho.

Limpar

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados nesta página, siga estas etapas.

Excluir o conjunto de dados criado no BigQuery

Para evitar cobranças por recursos do BigQuery, siga estas etapas para excluir o conjunto de dados chamado dataform_production:

1. No Console do Google Cloud, acesse a página BigQuery.

   Acessar o BigQuery

2. No painel Explorer, expanda o projeto e selecione dataform_production.

3. Clique no menu Ações e selecione Excluir.

4. Na caixa de diálogo Excluir conjunto de dados, digite excluir e depois clique em Excluir.

Excluir a configuração da versão do Dataform

Não há custos associados à criação de configurações de versão do Dataform. No entanto, se você quiser excluir a configuração da versão production, siga estas etapas:

1. No console do Google Cloud, acesse a página do Dataform.

   Acesse o Dataform

2. Clique em quickstart-production.

3. Clique em Configurações da versão.

4. Na configuração da versão production, clique no menu Mais e, em seguida, clique em Excluir.

5. Na caixa de diálogo Excluir configuração da versão, clique em Excluir.

Excluir a configuração do fluxo de trabalho do Dataform

Para evitar cobranças pelos recursos do BigQuery, siga estas etapas para excluir a configuração do fluxo de trabalho production do Dataform:

1. No console do Google Cloud, acesse a página do Dataform.

   Acesse o Dataform

2. Clique em quickstart-production.

3. Clique em Configurações do fluxo de trabalho.

4. Na configuração do fluxo de trabalho production, clique no menu Mais e, em seguida, clique em Excluir.

5. Na caixa de diálogo Excluir configuração da versão, clique em Excluir.

Excluir o repositório do Dataform

Não há custos associados à criação de repositórios do Dataform. No entanto, se você quiser excluir um repositório e todo o conteúdo dele, siga estas etapas:

1. No console do Google Cloud, acesse a página do Dataform.

   Acesse o Dataform

2. Ao quickstart-production, clique no menu Mais e selecione Excluir.

3. Na janela Excluir repositório, insira o nome do repositório para confirmar a exclusão.

4. Para confirmar, clique em Excluir.

A seguir

• Para saber mais sobre o ciclo de vida do código no Dataform, consulte Introdução ao ciclo de vida do código no Dataform.

• Para saber mais sobre as práticas recomendadas para o ciclo de vida do código no Dataform, consulte Como gerenciar o ciclo de vida do código.

• Para saber mais sobre configurações de versão no Dataform, consulte Criar uma configuração de versão.

• Para saber mais sobre as configurações do fluxo de trabalho no Dataform, consulte Programar execuções com configurações do fluxo de trabalho.