Agende preparações de dados

Este documento descreve como agendar pipelines de preparação de dados e executar manualmente.

As preparações de dados são processadas pelo Dataform. Cada agendamento de preparação de dados é executado através das credenciais de utilizador da sua Conta Google ou de uma conta de serviço do Dataform que seleciona quando configura o agendamento ou a execução de teste.

As alterações que fizer aos passos de preparação de dados não são guardadas automaticamente. Tem de guardar e implementar as alterações antes de poderem ser executadas com um agendamento. Os agendamentos executam sempre a versão implementada mais recente da preparação de dados e excluem quaisquer alterações não implementadas que possa estar a desenvolver.

Antes de começar

Antes de começar, crie uma preparação de dados.

Funções necessárias

Para autorizar uma preparação de dados com uma conta de serviço quando executar manualmente a preparação de dados em desenvolvimento ou agendar a preparação de dados, tem de conceder as funções à conta de serviço que planeia usar para executar as execuções de preparação de dados. Para mais informações, consulte o artigo Conceda acesso à conta de serviço do Dataform.

Desenvolva uma preparação de dados

À medida que desenvolve uma preparação de dados, pode executar manualmente os passos e inspecionar o resultado antes de implementar as alterações na produção. Pode testar a versão atual que está a desenvolver nos seus dados, enquanto o BigQuery continua a executar a versão implementada mais recente, de acordo com um agendamento. Antes de poder executar o teste, tem de configurar o destino e corrigir quaisquer erros de validação.

Execute manualmente uma preparação de dados em desenvolvimento

Para testar os passos de preparação de dados e validar os resultados na tabela de destino, execute a preparação de dados manualmente a partir do editor de preparação de dados:

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No painel Explorador, expanda o projeto e a pasta Preparativos de dados. Clique no nome da preparação de dados que quer executar.

3. Na barra de ferramentas do editor de preparação de dados, clique em Mais > Configurar experiência de execução agora.

4. Na secção Autenticação, autorize a preparação de dados com as credenciais de utilizador da sua Conta Google ou uma conta de serviço.

   • Para usar as credenciais de utilizador da sua Conta Google (Pré-visualização), selecione Executar com as minhas credenciais de utilizador. Esta é a opção predefinida.
   • Para usar uma conta de serviço, selecione Executar com a conta de serviço selecionada e, de seguida, selecione uma conta de serviço. Se a conta de serviço precisar de autorizações adicionais, conceda-lhe as funções necessárias clicando em Conceder tudo.

5. Clique em Guardar.

6. Corrija os erros de validação apresentados.

7. Na barra de ferramentas do editor de preparação de dados, clique em Executar.

8. Na caixa de diálogo Executar agora, clique em Confirmar para confirmar que esta execução manual escreve dados numa tabela de destino, que também pode estar a usar para execuções agendadas.

   Se selecionou Executar com as minhas credenciais de utilizador para o seu método de autenticação, tem de autorizar a sua Conta Google (Pré-visualização).

   Em seguida, a execução executa os passos e carrega o resultado para o destino.

9. Opcional: após a conclusão da execução, pode ver os detalhes sobre a execução no painel Execuções.

Implemente uma preparação de dados

Para agendar execuções para uma versão da preparação de dados, tem de a implementar primeiro. Os horários executam a versão implementada mais recentemente.

Para implementar uma preparação de dados, siga estes passos:

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No painel Explorador, expanda o projeto e a pasta Preparativos de dados. Clique no nome da preparação de dados escolhida.

   O editor de preparação de dados é aberto.

3. Na barra de ferramentas do editor de preparação de dados, clique em Implementar.

Crie um horário

Para criar uma programação que execute os passos de preparação de dados implementados e carregue os dados preparados na tabela de destino, tem de agendar primeiro uma execução de preparação de dados. Para agendar a execução, tem de configurar o destino e corrigir todos os erros de validação.

Para criar uma programação de preparação de dados, siga estes passos:

Painel Explorador

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No painel Explorador, expanda o projeto e a pasta Preparativos de dados. Clique no nome da preparação de dados que quer agendar.

3. Na barra de ferramentas do editor de preparação de dados, clique em Agendar.

4. Introduza um nome para o agendamento.

5. Na secção Autenticação, autorize a preparação de dados com as credenciais de utilizador da sua Conta Google ou uma conta de serviço.

   • Para usar as credenciais de utilizador da sua Conta Google (Pré-visualização), selecione Executar com as minhas credenciais de utilizador.
   • Para usar uma conta de serviço, selecione Executar com a conta de serviço selecionada e, de seguida, selecione uma conta de serviço.

6. Agende uma frequência.

7. Clique em Criar programação. Se selecionou Executar com as minhas credenciais de utilizador para o seu método de autenticação, tem de autorizar a sua Conta Google (Pré-visualização).

Página Programação

1. Na Google Cloud consola, aceda à página Agendamento.

   Aceda a Agendamento

2. Clique em Criar e, de seguida, selecione Agenda de preparação de dados no menu.

3. No painel Agendar preparação de dados, no campo Preparação de dados, selecione a preparação de dados que quer agendar.

4. No campo Nome da programação, introduza um nome para a programação.

5. Na secção Autenticação, autorize a preparação de dados com as credenciais de utilizador da sua Conta Google ou uma conta de serviço.

   • Para usar as credenciais de utilizador da sua Conta Google (Pré-visualização), selecione Executar com as minhas credenciais de utilizador.
   • Para usar uma conta de serviço, selecione Executar com a conta de serviço selecionada e, de seguida, selecione uma conta de serviço.

6. Na secção Frequência da programação, faça o seguinte:

   1. No menu Repetições, selecione a frequência das execuções de preparação de dados.
   2. No campo À hora, introduza a hora das execuções de preparação de dados agendadas.
   3. No menu Fuso horário, selecione o fuso horário para o agendamento.

7. Clique em Criar programação. Se selecionou Executar com as minhas credenciais de utilizador para o seu método de autenticação, tem de autorizar a sua Conta Google (Pré-visualização).

Autorize a sua Conta Google

Pré-visualização

Este produto ou funcionalidade está sujeito aos "Termos das Ofertas de Pré-DG" na secção Termos Gerais de Serviço dos Termos Específicos do Serviço. Os produtos e as funcionalidades pré-GA estão disponíveis "tal como estão" e podem ter apoio técnico limitado. Para mais informações, consulte as descrições das fases de lançamento.

Nota: para pedir apoio técnico ou enviar feedback sobre esta funcionalidade, contacte [e-mail].

Para autenticar o recurso com as credenciais de utilizador da sua Conta Google, tem de conceder manualmente autorização aos pipelines do BigQuery para obterem a chave de acesso da sua Conta Google e acederem aos dados de origem em seu nome. Pode conceder aprovação manual com a interface da caixa de diálogo do OAuth.

Só tem de conceder autorização aos pipelines do BigQuery uma vez.

Para revogar a autorização que concedeu, siga estes passos:

1. Aceda à página da Conta Google.
2. Clique em Pipelines do BigQuery.
3. Clique em Remover acesso.

Aviso: a revogação das autorizações de acesso impede a execução de pipelines futuros que esta Conta Google detém em todas as regiões.

A alteração do proprietário da programação de preparação de dados através da atualização das credenciais também requer aprovação manual se o novo proprietário da Conta Google nunca tiver criado uma programação antes.

Execute manualmente uma preparação de dados agendada

Quando executa manualmente uma preparação de dados num agendamento selecionado, o BigQuery executa a preparação de dados uma vez, independentemente do agendamento.

Para executar manualmente uma preparação de dados agendada, siga estes passos:

1. Na Google Cloud consola, aceda à página Agendamento.

   Aceda a Agendamento

2. Clique no nome da programação de preparação de dados selecionada.

3. Na página Detalhes da programação, clique em Executar.

Ver horários

Pode ver os agendamentos de preparação de dados no editor de preparação de dados ou na página Agendamento.

Editor de preparação de dados

Para ver a programação de uma preparação de dados, siga estes passos:

1. Na barra de ferramentas do editor de preparação de dados, clique em Agendar Ver agendamento.
2. Opcional: para ver o histórico da programação, clique em Ver execuções anteriores.

Página Programação

Para ver todos os agendamentos de preparação de dados no seu projeto, siga estes passos:

1. Na Google Cloud consola, aceda à página Agendamento.

   Aceda a Agendamento

2. Opcional: para ver o histórico de execuções e os detalhes de uma programação selecionada, clique no nome da programação. O histórico de execuções manuais não é apresentado.

Edite um horário

Pode editar um agendamento no editor de preparação de dados ou na página Agendamento.

Editor de preparação de dados

Para editar uma programação, siga estes passos:

1. Na barra de ferramentas do editor de preparação de dados, clique em Agendar Ver agendamento.
2. Na caixa de diálogo Agendar preparação de dados, clique em Editar e, de seguida, atualize o agendamento.
3. Clique em Atualizar programação.

Página Programação

Para editar uma programação, siga estes passos:

1. Na Google Cloud consola, aceda à página Agendamento.

   Aceda a Agendamento

2. Clique no nome da programação de preparação de dados selecionada.

3. Na página Detalhes do horário, clique em Editar.

4. Clique em Ver programação.

5. Na caixa de diálogo Agendar preparação de dados, clique em Editar e, de seguida, atualize o agendamento.

6. Clique em Atualizar programação.

Elimine um agendamento

Para eliminar permanentemente um agendamento de uma preparação de dados selecionada, siga estes passos:

1. Na Google Cloud consola, aceda à página Agendamento.

   Aceda a Agendamento

2. Na linha que contém o horário, clique em more_vert Ações > Eliminar.

O que se segue?

• Saiba como criar preparações de dados.
• Saiba mais acerca da gestão de preparações de dados.