Gerenciar preparações de dados

Neste documento, descrevemos como gerenciar o preparo de dados no BigQuery, incluindo a concessão dos papéis de gerenciamento de identidade e acesso (IAM) necessários e o gerenciamento de metadados no Dataplex.

As preparações de dados são recursos do BigQuery com tecnologia do Dataform.

Antes de começar

  1. Verifique se você ativou a API Gemini para Google Cloud.
  2. Para gerenciar metadados de preparação de dados no Dataplex, verifique se a API Dataplex está ativada no seu projeto do Google Cloud.

Funções exigidas

Para garantir que a conta de serviço do Dataform tenha as permissões necessárias para preparar dados no BigQuery, consulte os papéis obrigatórios para contas de serviço do Dataform.

Para conseguir as permissões necessárias para preparar dados no BigQuery, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

Para gerenciar metadados de preparação de dados no Dataplex, verifique se você tem as funções do Dataplex necessárias e a permissão dataform.repositories.get.

Conferir as preparações de dados

Para conferir uma lista de preparações de dados existentes, siga estas etapas:

  1. Na página do BigQuery Studio, acesse o painel Explorer.
  2. Expanda seu projeto.
  3. Abra a lista Preparações de dados.

Processar os dados de forma incremental para otimizar a preparação de dados

Para configurar a forma como os dados preparados são gravados em uma tabela de destino, siga estas etapas.

  1. No console do Google Cloud, acesse a página BigQuery Studio.

    Ir para o BigQuery

  2. No painel Atividade, selecione o preparo de dados.

  3. Na barra de ferramentas do preparo de dados, selecione Mais > Modo de gravação.

  4. Selecione uma das opções. Para mais informações, consulte Modo de gravação.

  5. Clique em Salvar.

Ajude a melhorar as sugestões

Você pode ajudar a melhorar as sugestões do Gemini compartilhando com o Google os dados de comando enviados para os recursos na visualização. Para compartilhar seus dados de comandos, siga estas etapas:

  1. Abra o editor de preparação de dados no BigQuery.
  2. Na barra de ferramentas de preparação de dados, clique em Configurações Mais.
  3. Selecione Compartilhar dados para aprimorar o Gemini no BigQuery.

As configurações de compartilhamento de dados se aplicam a todo o projeto e só podem ser definidas por um administrador com as permissões de IAM serviceusage.services.enable e serviceusage.services.list. Para mais informações sobre o uso de dados no programa Trusted Tester, consulte Gemini para Google Cloud Programa Trusted Tester.

Versões de preparação de dados

As preparações de dados do BigQuery não oferecem suporte à visualização, comparação ou restauração de versões de preparação de dados.

Para conferir uma lista de versões de preparação de dados em ordem cronológica, siga estas etapas:

  1. Na página do BigQuery Studio, acesse o painel Explorer.
  2. Selecione a preparação dos dados. As versões são listadas na guia Atividade no painel Explorer.

Fazer o download de uma preparação de dados

Para fazer o download de uma preparação de dados em um arquivo YAML, siga estas etapas:

  1. No console do Google Cloud, acesse a página BigQuery Studio.

    Ir para o BigQuery

  2. No painel Explorer, abra o projeto e a pasta Preparação de dados. Clique no nome da preparação de dados que você quer fazer o download.

  3. Clique em Fazer download. O preparo de dados é salvo no formato de arquivo YAML, por exemplo, NAME data preparation.dp.yaml.

Fazer upload de uma preparação de dados

Para fazer upload de uma preparação de dados de um arquivo YAML, siga estas etapas:

  1. No console do Google Cloud, acesse a página BigQuery Studio.

    Ir para o BigQuery

  2. No painel Explorer, abra projeto.

  3. Acesse a pasta Preparação de dados e clique em more_vert Menu > Fazer upload para a preparação de dados.

  4. Na caixa de diálogo Upload de preparação de dados, selecione um arquivo para fazer upload ou insira o URL da preparação de dados.

  5. Insira um nome para a preparação de dados.

  6. Selecione um local de preparação de dados onde os recursos são gerenciados e armazenados.

  7. Clique em Fazer upload.

Gerenciar metadados no Dataplex

O Dataplex permite armazenar e gerenciar metadados para preparações de dados. As preparações de dados estão disponíveis no Dataplex por padrão, sem configuração adicional.

Use o Dataplex para gerenciar a preparação de dados em todos os locais do BigQuery. O gerenciamento de preparações de dados no Dataplex está sujeito às cotas e limites do Dataplex e aos preços do Dataplex.

O Dataplex recupera automaticamente os seguintes metadados dos preparativos de dados:

  • Nome do recurso de dados
  • Pai do recurso de dados
  • Local do recurso de dados
  • Tipo de recurso de dados
  • Projeto correspondente do Google Cloud

O Dataplex registra as preparações de dados como entradas com os seguintes valores de entrada:

Grupo de entrada do sistema
O grupo de entrada do sistema para preparações de dados é @dataform. Para conferir detalhes das entradas de preparação de dados no Dataplex, você precisa acessar o grupo de entrada do sistema dataform. Para conferir instruções sobre como consultar uma lista de todas as entradas em um grupo, consulte Consultar detalhes de um grupo de entrada na documentação do Dataplex.
Tipo de entrada do sistema
O tipo de entrada do sistema para preparações de dados é dataform-code-asset. Para conferir detalhes das preparações de dados, você precisa acessar o tipo de entrada do sistema dataform-code-asset, filtrar os resultados com um filtro baseado em aspectos e definir o campo type dentro do aspecto dataform-code-asset como DATA_PREPARATION. Em seguida, selecione uma entrada da preparação de dados selecionada. Para instruções sobre como conferir os detalhes de um tipo de entrada selecionado, consulte Conferir os detalhes de um tipo de entrada na documentação do Dataplex. Para instruções sobre como conferir os detalhes de uma entrada selecionada, consulte Conferir os detalhes de uma entrada na documentação do Dataplex.
Tipo de aspecto do sistema
O tipo de aspecto do sistema para preparações de dados é dataform-code-asset. Para fornecer mais contexto às preparações de dados no Dataplex anexando anotações às entradas de preparação de dados com aspectos, confira o tipo de aspecto dataform-code-asset, filtre os resultados com um filtro baseado em aspectos e defina o campo type dentro do aspecto dataform-code-asset como DATA_PREPARATION. Para instruções sobre como anotar entradas com aspectos, consulte Gerenciar aspectos e enriquecer metadados na documentação do Dataplex.
Tipo
O tipo de telas de dados é DATA_PREPARATION. Esse tipo permite filtrar preparações de dados no tipo de entrada do sistema dataform-code-asset e no tipo de aspecto dataform-code-asset usando a consulta aspect:dataplex-types.global.dataform-code-asset.type=DATA_PREPARATION em um filtro baseado em aspectos.

Para instruções sobre como pesquisar recursos no Dataplex, consulte Pesquisar recursos de dados no Dataplex na documentação do Dataplex.

A seguir