Programar execuções de produção

Programar execuções de produção

Neste guia de início rápido, mostramos as seguintes etapas para programar execuções de produção no Dataform:

• Crie um repositório do Dataform.
• Conceda acesso ao Dataform ao BigQuery

• Crie uma configuração de versão para configurar o ambiente de produção.

  Crie uma configuração de versão production e defina a frequência de criação de resultados de compilação production.

• Crie uma configuração de fluxo de trabalho para programar execuções no ambiente de produção.

  Crie uma configuração de fluxo de trabalho production, selecione a configuração de lançamento production e defina uma programação para executar os resultados da compilação production.

• Conferir resultados de compilação anteriores.

• Conferir execuções anteriores.

• Limpe os recursos criados.

Antes de começar

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the BigQuery and Dataform APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the BigQuery and Dataform APIs.

   Enable the APIs

Funções exigidas

Para ter as permissões necessárias para executar todas as tarefas neste tutorial, peça ao administrador para conceder a você os seguintes papéis do IAM:

• Administrador do Dataform (roles/dataform.admin) nos repositórios
• Editor do Dataform (roles/dataform.editor) em espaços de trabalho e workflowInvocations

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

criar um repositório do Dataform

1. No Console do Google Cloud, acesse a página Dataform.

   Acessar o Dataform

2. Clique em Criar repositório.

3. Na página Criar repositório, faça o seguinte:

   1. No campo Código do repositório, insira quickstart-production.

   2. Na lista Região, selecione europe-west4.

   3. Clique em Criar.

4. Clique em Concluído.

conceder acesso ao Dataform ao BigQuery

Para executar fluxos de trabalho no BigQuery, a conta de serviço do Dataform precisa ter as seguintes funções:

• Editor de dados do BigQuery em projetos em que o Dataform precisa de acesso de leitura e gravação. Eles geralmente incluem o projeto que hospeda o repositório do Dataform.
• Visualizador de dados do BigQuery em projetos em que o Dataform precisa de acesso somente leitura.
• Usuário de jobs do BigQuery no projeto que hospeda o repositório do Dataform.

Para conceder esses papéis, siga estas etapas:

1. No console do Google Cloud, abra a página IAM.

   Acessar a página do IAM

2. Clique em Adicionar.

3. No campo Novos principais, digite o ID da conta de serviço do Dataform.

4. Na lista suspensa Selecionar um papel, escolha a opção Usuário de jobs do BigQuery.

5. Clique em Adicionar outro papel. Em seguida, na lista suspensa do campo Selecionar papel, escolha a opção Editor de dados do BigQuery.

6. Clique em Adicionar outro papel. Depois, na lista suspensa do campo Selecionar papel, escolha Leitor de dados do BigQuery.

7. Clique em Salvar.

Criar uma configuração de versão

Para criar resultados de compilação de produção do repositório quickstart-production, siga estas etapas:

1. No Console do Google Cloud, acesse a página Dataform.

   Acessar o Dataform

2. Clique em quickstart-production.

3. Clique em Configurações de versão e Configuração de nova versão.

4. No painel Criar configuração da versão, defina as seguintes configurações:

   1. No campo ID da versão, digite production.

   2. No campo Git commitish, deixe o valor padrão main .

   3. No menu suspenso Frequência, selecione Personalizado.

   4. No campo Programação personalizada, insira 0 16 * * *.

   5. No menu suspenso Fuso horário, selecione um fuso horário UTC+1, por exemplo, Horário de Greenwich (GMT).

   Todos os dias às 16h UTC+1, o Dataform compila o repositório quickstart-production e aplica as configurações de compilação definidas nessa configuração de lançamento para criar resultados de compilação production.

5. Clique em Criar.

A configuração da versão production cria um resultado de compilação de todo o repositório quickstart-production todos os dias às 16h UTC+1.

Criar uma configuração de fluxo de trabalho

Para programar a execução de tabelas production, siga estas etapas:

1. No Console do Google Cloud, acesse a página Dataform.

   Acessar o Dataform

2. Clique em quickstart-production.

3. Clique em Configurações do fluxo de trabalho e em Nova configuração do fluxo de trabalho.

4. No painel Criar configuração do fluxo de trabalho, no campo ID da configuração, digite production.

5. No menu suspenso Configuração da versão, selecione production.

6. No campo Frequência, use 0 17 * * *.

7. No menu suspenso Fuso horário, selecione um fuso horário UTC+1, por exemplo, Horário de Greenwich (GMT).

   Todos os dias, às 17h UTC+1, o Dataform vai executar a versão mais recente de production resultado da compilação do repositório quickstart-production.

   Para garantir que o Dataform execute o resultado de compilação mais recente na configuração de lançamento correspondente, mantenha um intervalo mínimo de 1 hora entre o horário de criação do resultado de compilação e o horário da execução programada.

8. Clique em Todas as ações.

   O Dataform vai executar todas as ações do fluxo de trabalho SQL no resultado da compilação production.

9. Clique em Criar.

A configuração do fluxo de trabalho production executa todo o resultado da compilação mais recente criado pela configuração da versão production todos os dias às 16h UTC+1.

Conferir os resultados de compilação de production anteriores

Para conferir os resultados da compilação production programada anterior, siga estas etapas:

1. No Console do Google Cloud, acesse a página Dataform.

   Acessar o Dataform

2. Clique em quickstart-production.

3. Clique em Configurações da versão.

4. Clique em production.

Conferir execuções de fluxo de trabalho production anteriores

Para visualizar execuções anteriores do fluxo de trabalho production, siga estas etapas:

1. No Console do Google Cloud, acesse a página Dataform.

   Acessar o Dataform

2. Clique em quickstart-production.

3. Clique em Configurações do fluxo de trabalho.

Limpar

Para evitar cobranças na conta do Google Cloud pelos recursos usados nesta página, siga estas etapas.

Excluir o conjunto de dados criado no BigQuery

Para evitar cobranças de recursos do BigQuery, siga estas etapas para excluir o conjunto de dados chamado dataform_production:

1. No Console do Google Cloud, acesse a página BigQuery.

   Ir para o BigQuery

2. No painel Explorer, expanda o projeto e selecione dataform_production.

3. Clique no menu Ações e selecione Excluir.

4. Na caixa de diálogo Excluir conjunto de dados, digite excluir e clique em Excluir.

Excluir a configuração da versão do Dataform

Não há custos associados à criação de uma versão do Dataform personalizadas. No entanto, se você quiser excluir a configuração da versão production, siga estas etapas:

1. No Console do Google Cloud, acesse a página Dataform.

   Acessar o Dataform

2. Clique em quickstart-production.

3. Clique em Configurações da versão.

4. Na configuração da versão production, clique no menu Mais e em Excluir.

5. Na caixa de diálogo Excluir configuração da versão, clique em Excluir.

Excluir a configuração do fluxo de trabalho do Dataform

Para evitar cobranças pelos recursos do BigQuery, siga estas etapas para excluir a configuração do fluxo de trabalho production do Dataform:

1. No Console do Google Cloud, acesse a página Dataform.

   Acessar o Dataform

2. Clique em quickstart-production.

3. Clique em Configurações do fluxo de trabalho.

4. Na configuração do fluxo de trabalho production, clique no menu Mais e em Excluir.

5. Na caixa de diálogo Excluir configuração da versão, clique em Excluir.

Excluir o repositório do Dataform

Não há custos associados à criação de repositórios do Dataform. No entanto, se você quiser excluir um repositório e todo o conteúdo dele, siga estas etapas:

1. No Console do Google Cloud, acesse a página Dataform.

   Acessar o Dataform

2. Até quickstart-production, clique no menu Mais do . e selecione Excluir.

3. Na janela Excluir repositório, digite o nome do repositório para confirmar a exclusão.

4. Para confirmar, clique em Excluir.

A seguir

• Para saber mais sobre o ciclo de vida do código no Dataform, consulte Introdução ao ciclo de vida do código no Dataform.

• Para saber mais sobre as práticas recomendadas para o ciclo de vida do código no Dataform, consulte Como gerenciar o ciclo de vida do código.

• Para saber mais sobre as configurações de lançamento no Dataform, consulte Criar uma configuração de lançamento.

• Para saber mais sobre as configurações do fluxo de trabalho no Dataform, consulte Programar execuções com configurações de fluxo de trabalho.