Agende execuções de produção

Agende execuções de produção

Este guia de início rápido explica os seguintes passos para agendar execuções de produção no Dataform:

• Crie um repositório do Dataform.
• Conceda acesso do Dataform ao BigQuery.

• Crie uma configuração de lançamento para configurar o ambiente de produção.

  Crie uma configuração de lançamento para definir a frequência de criação de resultados de compilação.productionproduction

• Crie uma configuração do fluxo de trabalho para agendar execuções no ambiente de produção.

  Crie uma configuração do fluxo de trabalho, selecione a configuração de lançamento e defina uma programação para executar os resultados da compilação.productionproductionproduction

• Veja os resultados de compilação anteriores.

• Veja execuções anteriores.

• Limpe os recursos criados.

Antes de começar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Enable the APIs

Funções necessárias

Para receber as autorizações de que precisa para realizar todas as tarefas neste tutorial, peça ao seu administrador para lhe conceder as seguintes funções da IAM:

• Administrador do Dataform (roles/dataform.admin) em repositórios
• Editor do Dataform (roles/dataform.editor) em espaços de trabalho e workflowInvocations

Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

Também pode conseguir as autorizações necessárias através de funções personalizadas ou outras funções predefinidas.

Crie um repositório do Dataform

1. Na Google Cloud consola, aceda à página Dataform.

   Aceder ao Dataform

2. Clique em Criar repositório.

3. Na página Criar repositório, faça o seguinte:

   1. No campo ID do repositório, introduza quickstart-production.

   2. Na lista Região, selecione europe-west4.

   3. Clique em Criar.

4. Clique em Concluído.

Conceda acesso do Dataform ao BigQuery

Para executar fluxos de trabalho no BigQuery, a conta de serviço do Dataform tem de ter as seguintes funções necessárias:

• Editor de dados do BigQuery em projetos aos quais o Dataform precisa de acesso de leitura e escrita. Normalmente, incluem o projeto que aloja o seu repositório do Dataform.
• Visualizador de dados do BigQuery em projetos aos quais o Dataform precisa de acesso só de leitura.
• Utilizador da tarefa do BigQuery no projeto que aloja o seu repositório do Dataform.

Para conceder estas funções, siga estes passos:

1. Na Google Cloud consola, aceda à página IAM.

   Aceda à página IAM

2. Clique em Adicionar.

3. No campo Novos membros, introduza o ID da conta de serviço do Dataform.

   Nota: as credenciais da conta de serviço são a opção predefinida para execuções agendadas. A utilização de credenciais de contas de utilizador da Conta Google (pré-visualização) não é recomendada para execuções agendadas.

4. Na lista Selecionar uma função, selecione a função Utilizador de tarefas do BigQuery.

5. Clique em Adicionar outra função e, de seguida, na lista Selecionar uma função, selecione a função Editor de dados do BigQuery.

6. Clique em Adicionar outra função e, de seguida, na lista Selecionar uma função, selecione a função Visualizador de dados do BigQuery.

7. Clique em Guardar.

Crie uma configuração de lançamento

Para criar resultados de compilação de produção do repositório quickstart-production, siga estes passos:

1. Na Google Cloud consola, aceda à página Dataform.

   Aceder ao Dataform

2. Clique em quickstart-production.

3. Clique em Configurações de lançamentos e, de seguida, em Nova configuração de lançamento.

4. No painel Criar configuração de lançamento, configure as seguintes definições:

   1. No campo ID da versão, introduza production.

   2. No campo Git commitish, mantenha o valor predefinido main .

   3. No menu Frequência, selecione Personalizado.

   4. No campo Horário personalizado, introduza 0 16 * * *.

   5. No menu Fuso horário, selecione um fuso horário UTC+1, por exemplo, Hora do Meridiano de Greenwich (GMT).

   Todos os dias às 16:00 UTC+1, o Dataform compila o repositório e aplica as definições de compilação configuradas nesta configuração de versão para criar resultados de compilação.quickstart-productionproduction

5. Clique em Criar.

A configuração de lançamento production cria um resultado de compilação de todo o repositório quickstart-production todos os dias às 16:00 UTC+1.

Crie uma configuração do fluxo de trabalho

Para agendar a execução de tabelas production, siga estes passos:

1. Na Google Cloud consola, aceda à página Dataform.

   Aceder ao Dataform

2. Clique em quickstart-production.

3. Clique em Configurações de fluxo de trabalho e, de seguida, clique em Nova configuração de fluxo de trabalho.

4. No painel Criar configuração do fluxo de trabalho, no campo ID da configuração, introduza production.

5. No menu Configuração de lançamento, selecione production.

6. No campo Frequência, introduza 0 17 * * *.

7. No menu Fuso horário, selecione um fuso horário UTC+1, por exemplo, Hora do Meridiano de Greenwich (GMT).

   Todos os dias às 17:00 UTC+1, o Dataform executa o production resultado da compilação mais recente do repositório quickstart-production.

   Para garantir que o Dataform executa o resultado da compilação mais recente na configuração de lançamento correspondente, mantenha um intervalo mínimo de 1 hora entre a hora de criação do resultado da compilação e a hora de execução agendada.

8. Clique em Todas as ações.

   O Dataform executa todas as ações do fluxo de trabalho no resultado da compilação production.

9. Clique em Criar.

A configuração do fluxo de trabalho production executa o resultado da compilação mais recente criado pela configuração de lançamento production todos os dias às 16:00 UTC+1.

Veja os resultados de compilação anteriores de production

Para ver os resultados de compilação production agendados anteriores, siga estes passos:

1. Na Google Cloud consola, aceda à página Dataform.

   Aceder ao Dataform

2. Clique em quickstart-production.

3. Clique em Publicar configurações.

4. Clique em production.

Veja as execuções de fluxos de trabalho production anteriores

Para ver execuções de fluxo de trabalho productionanteriores, siga estes passos:

1. Na Google Cloud consola, aceda à página Dataform.

   Aceder ao Dataform

2. Clique em quickstart-production.

3. Clique em Configurações do fluxo de trabalho.

Limpar

Para evitar incorrer em cobranças na sua Google Cloud conta pelos recursos usados nesta página, siga estes passos.

Elimine o conjunto de dados criado no BigQuery

Para evitar incorrer em custos por recursos do BigQuery, siga estes passos para eliminar o conjunto de dados denominado dataform_production:

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No painel Explorador, expanda o projeto e selecione dataform_production.

3. Clique no menu Ações e, de seguida, selecione Eliminar.

4. Na caixa de diálogo Eliminar conjunto de dados, introduza eliminar e, de seguida, clique em Eliminar.

Elimine a configuração de lançamento do Dataform

Não existem custos associados à criação de configurações de lançamento do Dataform. No entanto, se quiser eliminar a configuração de lançamento, siga estes passos:production

1. Na Google Cloud consola, aceda à página Dataform.

   Aceder ao Dataform

2. Clique em quickstart-production.

3. Clique em Publicar configurações.

4. Junto à configuração de lançamento production, clique no menu Mais e, de seguida, em Eliminar.

5. Na caixa de diálogo Eliminar configuração de lançamento, clique em Eliminar.

Elimine a configuração do fluxo de trabalho do Dataform

Para evitar incorrer em custos por recursos do BigQuery, siga estes passos para eliminar a configuração do fluxo de trabalho do Dataform production:

1. Na Google Cloud consola, aceda à página Dataform.

   Aceder ao Dataform

2. Clique em quickstart-production.

3. Clique em Configurações do fluxo de trabalho.

4. Na configuração do fluxo de trabalho production, clique no menu Mais e, de seguida, em Eliminar.

5. Na caixa de diálogo Eliminar configuração de lançamento, clique em Eliminar.

Elimine o repositório do Dataform

Não existem custos associados à criação de repositórios do Dataform. No entanto, se quiser eliminar um repositório e todo o respetivo conteúdo, siga estes passos:

1. Na Google Cloud consola, aceda à página Dataform.

   Aceder ao Dataform

2. Em quickstart-production, clique no menu Mais e, de seguida, selecione Eliminar.

3. Na janela Eliminar repositório, introduza o nome do repositório para confirmar a eliminação.

4. Para confirmar, clique em Eliminar.

O que se segue?

• Para saber mais sobre o ciclo de vida do código no Dataform, consulte o artigo Introdução ao ciclo de vida do código no Dataform.

• Para saber mais sobre as práticas recomendadas para o ciclo de vida do fluxo de trabalho no Dataform, consulte o artigo Práticas recomendadas para o ciclo de vida do fluxo de trabalho.

• Para saber mais sobre as configurações de lançamento no Dataform, consulte o artigo Crie uma configuração de lançamento.

• Para saber mais sobre as configurações de fluxo de trabalho no Dataform, consulte o artigo Agende execuções com configurações de fluxo de trabalho.