Gerenciar preparações de dados
Neste documento, descrevemos como gerenciar preparações de dados no BigQuery, incluindo como implantar e programar preparações de dados. As preparações de dados são recursos do BigQuery com tecnologia do Dataform.
Antes de começar
- Verifique se você ativou a API Gemini para Google Cloud.
Funções exigidas
Para garantir que a conta de serviço do Dataform tenha as permissões necessárias para preparar dados no BigQuery, consulte os papéis obrigatórios para contas de serviço do Dataform.
Para conseguir as permissões necessárias para preparar dados no BigQuery, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:
-
Editor de dados do BigQuery (
roles/bigquery.dataEditor) -
Consumidor do Service Usage (
roles/serviceusage.serviceUsageConsumer)
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.
Conferir preparações de dados
Para conferir uma lista de preparações de dados existentes, siga estas etapas:
- Na página do BigQuery Studio, acesse o painel Explorer.
- Expanda seu projeto.
- Abra a lista Preparações de dados.
Programar preparações de dados
É possível criar programações no editor de preparação de dados e gerenciá-las na página Orquestração do BigQuery.
Criar uma programação
Para criar uma programação que execute as etapas de preparação de dados e carregue os dados preparados na tabela de destino, programe uma execução de preparação de dados única ou recorrente:
- Na barra de ferramentas de preparação de dados, clique em Programar.
- Insira um nome para a programação.
- Insira o nome da conta de serviço associada à execução.
- Programe uma frequência.
- Clique em Criar programação.
Ver programações
Para conferir todas as programações de preparação de dados no projeto, siga estas etapas:
No console do Google Cloud, acesse a página Orquestração.
Opcional: para conferir os detalhes de uma programação selecionada e as execuções anteriores, clique no nome dela.
Excluir uma programação
Para excluir permanentemente uma programação de preparação de dados selecionada, siga estas etapas:
No console do Google Cloud, acesse a página Orquestração.
Na linha que contém a programação, clique em Ações > Excluir.
Processar os dados de forma incremental para otimizar a preparação de dados
Para configurar a forma como os dados preparados são gravados em uma tabela de destino, siga estas etapas.
No console do Google Cloud, acesse a página BigQuery Studio.
No painel Atividade, selecione a preparação de dados.
Na barra de ferramentas do preparo de dados, selecione Mais > Modo de gravação.
Selecione uma das opções. Para mais informações, consulte Modo de gravação.
Clique em Salvar.
Ajude a melhorar as sugestões
Você pode ajudar a melhorar as sugestões do Gemini compartilhando com o Google os dados de comando enviados para os recursos na visualização. Para compartilhar seus dados de comandos, siga estas etapas:
- Abra o editor de preparação de dados no BigQuery.
- Na barra de ferramentas de preparação de dados, clique em Configurações Mais.
- Selecione Compartilhar dados para melhorar o Gemini no BigQuery.
As configurações de compartilhamento de dados se aplicam a todo o projeto e só podem ser definidas por um administrador com as permissões de IAM serviceusage.services.enable e serviceusage.services.list. Para mais
informações sobre o uso de dados no programa Trusted Tester, consulte
Gemini no programa Trusted Tester do Google Cloud.
Versões de preparação de dados
As preparações de dados do BigQuery não oferecem suporte à visualização, comparação ou restauração de versões de preparação de dados.
Para conferir uma lista de versões de preparação de dados em ordem cronológica, siga estas etapas:
- Na página do BigQuery Studio, acesse o painel Explorer.
- Selecione a preparação dos dados. As versões são listadas na guia Atividade no painel Explorer.
Fazer o download de uma preparação de dados
Para fazer o download de uma preparação de dados em um arquivo YAML, siga estas etapas:
No console do Google Cloud, acesse a página BigQuery Studio.
No painel Explorer, abra o projeto e a pasta Preparação de dados. Clique no nome da preparação de dados que você quer fazer o download.
Clique em Fazer download. O preparo de dados é salvo no formato de arquivo YAML, por exemplo,
NAME data preparation.dp.yaml.
Fazer upload de uma preparação de dados
Para fazer upload de uma preparação de dados de um arquivo YAML, siga estas etapas:
No console do Google Cloud, acesse a página BigQuery Studio.
No painel Explorer, abra projeto.
Acesse a pasta Preparação de dados e clique em more_vert Menu > Fazer upload para a preparação de dados.
Na caixa de diálogo Upload de preparação de dados, selecione um arquivo para fazer upload ou insira o URL da preparação de dados.
Insira um nome para a preparação de dados.
Selecione um local de preparação de dados onde os recursos são gerenciados e armazenados.
Clique em Fazer upload.
A seguir
- Saiba mais sobre como preparar dados no BigQuery.
- Saiba como criar preparações de dados.