Orquestrar preparações de dados
Este documento descreve como orquestrar pipelines de preparação de dados, incluindo como realizar execuções manuais e programadas.
A preparação de dados é feita pelo Dataform.
A preparação de dados é executada usando contas de serviço personalizadas do Dataform, que você seleciona ao configurar programações ou execuções de teste. Para mais informações, consulte Sobre as contas de serviço no Dataform.
As mudanças feitas nas etapas de preparação de dados não são salvas automaticamente. É necessário salvar e implantar as mudanças antes que elas possam ser executadas com uma programação. Os agendamentos sempre executam a versão implantada mais recente da preparação de dados e excluem as mudanças não implantadas que você possa estar desenvolvendo.
Antes de começar
Antes de começar, crie uma preparação de dados.
Funções exigidas
Para executar preparações de dados, é necessário conceder os papéis à conta de serviço que você planeja usar para executar as execuções de preparação de dados. Para mais informações, consulte os papéis necessários.
Desenvolver uma preparação de dados
Ao desenvolver uma preparação de dados, você pode executar manualmente as etapas e inspecionar a saída antes de implantar as mudanças na produção. É possível testar a versão atual que você está desenvolvendo nos seus dados, enquanto o BigQuery continua executando a versão implantada mais recente, de acordo com uma programação. Antes de realizar a execução, é necessário configurar o destino e corrigir todos os erros de validação.
Executar manualmente uma preparação de dados em desenvolvimento
Para testar as etapas de preparação de dados e validar os resultados na tabela de destino, execute a preparação de dados manualmente no editor de preparação de dados:
No console do Google Cloud , acesse a página BigQuery.
No painel Explorer, abra o projeto e a pasta Preparação de dados. Clique no nome da preparação de dados que você quer executar.
Configure as permissões na conta de serviço para a execução:
- Na barra de ferramentas do editor de preparação de dados, mantenha o ponteiro sobre a opção Run desativada.
- Na caixa de diálogo que aparece com informações sobre como configurar a conta de serviço, clique em Configurar.
- Na caixa de diálogo Configurações da conta de serviço, selecione uma conta de serviço.
- Se a conta de serviço precisar de outras permissões, conceda os papéis necessários clicando em Conceder tudo.
- Clique em Salvar.
Opcional: para atualizar a conta de serviço para execuções futuras, acesse a barra de ferramentas do editor de preparação de dados e clique em Mais > Configurar a experiência de execução agora. Em seguida, atualize e salve as configurações da conta de serviço.
Corrija todos os erros de validação que aparecerem.
Na barra de ferramentas do editor de preparação de dados, clique em Executar.
Na caixa de diálogo Run now, clique em Confirm para confirmar que essa execução manual grava dados em uma tabela de destino, que também pode ser usada para execuções programadas.
A execução, então, executa suas etapas e carrega a saída para o destino.
Opcional: depois que a execução for concluída, você poderá conferir os detalhes sobre a execução no painel Executions.
Implantar uma preparação de dados
Para programar execuções de uma versão da preparação de dados, primeiro é necessário implantá-la. Os agendamentos executam a versão implantada mais recentemente.
Para implantar uma preparação de dados, siga estas etapas:
No console do Google Cloud , acesse a página BigQuery.
No painel Explorer, abra o projeto e a pasta Preparação de dados. Clique no nome da preparação de dados escolhida.
O editor de preparação de dados é aberto.
Na barra de ferramentas do editor de preparação de dados, clique em Implantar.
Criar uma programação
Para criar uma programação que execute as etapas de preparação de dados implantadas e carregue os dados preparados na tabela de destino, programe uma execução de preparação de dados. Para programar a execução, você precisa configurar o destino e corrigir os erros de validação.
Para criar uma programação, siga estas etapas:
No console do Google Cloud , acesse a página BigQuery.
No painel Explorer, abra o projeto e a pasta Preparação de dados. Clique no nome da preparação de dados que você quer programar.
Na barra de ferramentas do editor de preparação de dados, clique em Programar.
Insira o nome da programação.
Insira o nome da conta de serviço associada à execução.
Programe uma frequência.
Clique em Criar programação.
Executar manualmente uma preparação de dados programada
Quando você executa manualmente uma preparação de dados em uma programação selecionada, o BigQuery executa a preparação de dados uma vez, independente da programação.
Para executar manualmente um preparo de dados programado, siga estas etapas:
No console do Google Cloud , acesse a página Programação.
Clique no nome da programação de preparação de dados selecionada.
Na página de detalhes da programação, clique em Executar.
Ver programações
É possível conferir os horários de preparação de dados no editor de preparação de dados ou na página Programação.
Editor de preparação de dados
Para conferir a programação de um preparo de dados, siga estas etapas:
- Na barra de ferramentas do editor de preparação de dados, clique em programação Ver programação.
- Opcional: para conferir o histórico de programação, clique em Ver execuções anteriores.
Página de programação
Para conferir todas as programações de preparação de dados no projeto, siga estas etapas:
No console do Google Cloud , acesse a página Programação.
Opcional: para conferir o histórico de execução e os detalhes de uma programação selecionada, clique no nome dela. O histórico de execuções manuais não é mostrado.
Editar uma programação
É possível editar uma programação no editor de preparação de dados ou na página Programação.
Editor de preparação de dados
Para editar uma programação, siga estas etapas:
- Na barra de ferramentas do editor de preparação de dados, clique em programação Ver programação.
- Na caixa de diálogo Programar preparação de dados, clique em Editar e atualize a programação.
- Clique em Atualizar programação.
Página de programação
Para editar uma programação, siga estas etapas:
No console do Google Cloud , acesse a página Programação.
Clique no nome da programação de preparação de dados selecionada.
Na página Detalhes da programação, clique em Editar.
Clique em Ver programação.
Na caixa de diálogo Programar preparação de dados, clique em Editar e atualize a programação.
Clique em Atualizar programação.
Excluir uma programação
Para excluir permanentemente uma programação de um preparo de dados selecionado, siga estas etapas:
No console do Google Cloud , acesse a página Programação.
Na linha que contém a programação, clique em more_vert Ações > Excluir.
A seguir
- Saiba como criar preparações de dados.
- Saiba mais sobre como gerenciar a preparação de dados.