Criar o perfil dos seus dados

Este documento explica como usar as verificações de perfil de dados para entender melhor seus dados. O BigQuery usa o Catálogo Universal do Dataplex para analisar as características estatísticas dos dados, como valores médios, exclusivos e máximos. O Dataplex Universal Catalog também usa essas informações para recomendar regras para verificações de qualidade de dados.

Para mais informações sobre a criação de perfil de dados, consulte Sobre a criação de perfil de dados.

Antes de começar

Enable the Dataplex API.

Enable the API

Funções exigidas

Para criar perfis de tabelas do BigQuery, é preciso ter as seguintes permissões:

  • Para executar uma verificação do perfil de dados em uma tabela do BigQuery, é preciso ter permissão para ler a tabela e para criar um job do BigQuery no projeto usado para verificar a tabela.

  • Se a tabela do BigQuery e a verificação do perfil de dados estiverem em projetos diferentes, conceda à conta de serviço do Dataplex Universal Catalog a permissão de leitura na tabela correspondente do BigQuery.

  • Se os dados do BigQuery estiverem organizados em um data lake do Dataplex Universal Catalog, para criar uma verificação do perfil de dados, você precisará das funções roles/dataplex.metadataReader e roles/dataplex.viewer do Dataplex Universal Catalog. Isso concede as seguintes permissões:

    • dataplex.lakes.list
    • dataplex.lakes.get
    • dataplex.zones.list
    • dataplex.zones.get
    • dataplex.entities.list
    • dataplex.entities.get
    • dataplex.operations.get
  • Se você estiver verificando uma tabela externa do BigQuery no Cloud Storage, atribua à conta de serviço do Dataplex Universal Catalog o papel de leitor de objetos do Storage (roles/storage.objectViewer) ou as seguintes permissões no bucket:

    • storage.buckets.get
    • storage.objects.get
  • Para publicar os resultados da verificação do perfil de dados nas páginas do Dataplex Universal Catalog e do BigQuery no consoleGoogle Cloud das tabelas de origem, é necessário ter, na tabela, o papel de editor de dados do BigQuery (roles/bigquery.dataEditor). Como alternativa, você precisa de todas as seguintes permissões:

    • bigquery.tables.get
    • bigquery.tables.update
    • bigquery.tables.updateData
    • bigquery.tables.delete
  • Para exportar os resultados da verificação para uma tabela do BigQuery, a conta de serviço do Dataplex Universal Catalog precisa ter o papel de editor de dados do BigQuery (roles/bigquery.dataEditor). Isso concede as seguintes permissões:

    • bigquery.datasets.get
    • bigquery.tables.create
    • bigquery.tables.get
    • bigquery.tables.getData
    • bigquery.tables.update
    • bigquery.tables.updateData
  • Se precisar acessar colunas protegidas por políticas de acesso no nível da coluna do BigQuery, atribua à conta de serviço do Dataplex Universal Catalog permissões para essas colunas. O usuário que cria ou atualiza uma verificação de dados também precisa de permissões nas colunas.

  • Se uma tabela tiver políticas de acesso no nível da linha do BigQuery habilitadas, só será possível verificar as linhas visíveis para a conta de serviço do Dataplex Universal Catalog. Os privilégios de acesso do usuário individual não são avaliados para fins de políticas no nível da linha.

Permissões e papéis de verificação de dados

Para usar a criação de perfil de dados, peça ao administrador para conceder a você um dos seguintes papéis do IAM:

  • roles/dataplex.dataScanAdmin: acesso total aos recursos DataScan.
  • roles/dataplex.dataScanEditor: acesso de gravação aos recursos DataScan.
  • roles/dataplex.dataScanViewer: acesso de leitura aos recursos DataScan, exceto os resultados.
  • roles/dataplex.dataScanDataViewer: acesso de leitura aos recursos DataScan, incluindo os resultados.

A seguinte tabela lista as permissões de verificação de dados:

Nome da permissão Concede permissão para as seguintes ações:
dataplex.datascans.create Criar um DataScan
dataplex.datascans.delete Excluir um DataScan
dataplex.datascans.get Ver detalhes de DataScan, excluindo resultados
dataplex.datascans.getData Ver detalhes de DataScan, incluindo resultados
dataplex.datascans.list Listar DataScans
dataplex.datascans.run Executar um DataScan
dataplex.datascans.update Atualizar a descrição de um DataScan
dataplex.datascans.getIamPolicy Conferir as permissões atuais do IAM na verificação
dataplex.datascans.setIamPolicy Definir permissões do IAM na verificação

Criar uma verificação do perfil de dados

Console

  1. No console Google Cloud , na página Criação de metadados do BigQuery, acesse a guia Qualidade e criação do perfil de dados.

    Acessar "Qualidade e perfilamento de dados"

  2. Clique em Criar verificação do perfil de dados.

  3. Opcional: insira um Nome de exibição.

  4. Insira um ID. Consulte as Convenções de nomenclatura de recursos.

  5. Opcional: digite uma Descrição.

  6. No campo Tabela, clique em Procurar. Escolha a tabela para verificar e clique em Selecionar.

    Para tabelas em conjuntos de dados multirregionais, escolha uma região para criar a verificação de dados.

    Para procurar as tabelas organizadas nos lakes do Dataplex Universal Catalog, clique em Procurar dentro de lakes do Dataplex.

  7. No campo Escopo, escolha Incremental ou Dados completos.

    • Se você escolher Dados incrementais, no campo Coluna de carimbo de data/hora, selecione uma coluna do tipo DATE ou TIMESTAMP na tabela do BigQuery que aumente à medida que novos registros são adicionados e que possa ser usada para identificar novos registros. Para tabelas particionadas em uma coluna do tipo DATE ou TIMESTAMP, recomendamos usar a coluna de partição como o campo de carimbo de data/hora.
  8. Opcional: para filtrar seus dados, faça o seguinte:

    • Para filtrar por linhas, clique na caixa de seleção Filtrar linhas. Insira uma expressão SQL válida que possa ser usada em uma cláusula WHERE na sintaxe GoogleSQL. Exemplo: col1 >= 0.

      O filtro pode ser uma combinação de condições SQL em várias colunas. Por exemplo, col1 >= 0 AND col2 < 10.

    • Para filtrar por colunas, marque a caixa de seleção Filtrar colunas.

      • Para incluir colunas na verificação do perfil, no campo Incluir colunas, clique em Procurar. Selecione as colunas que você quer incluir e clique em Selecionar.

      • Para excluir colunas da verificação do perfil, no campo Excluir colunas, clique em Procurar. Selecione as colunas a serem excluídas e clique em Selecionar.

  9. Para aplicar a amostragem à verificação do perfil de dados, na lista Tamanho da amostragem, selecione uma porcentagem de amostragem. Escolha uma porcentagem entre 0,0% e 100,0% com até três casas decimais.

    • Para conjuntos de dados maiores, escolha uma porcentagem de amostragem menor. Por exemplo, para uma tabela de 1 PB, se você inserir um valor entre 0,1% e 1,0%, o perfil de dados vai amostrar entre 1 e 10 TB de dados.

    • É preciso ter pelo menos 100 registros nos dados amostrados para receber um resultado.

    • Nas verificações de dados incrementais, a verificação de perfil de dados aplica amostragem ao incremento mais recente.

  10. Opcional: publique os resultados da verificação do perfil de dados nas páginas do BigQuery e do Dataplex Universal Catalog no consoleGoogle Cloud da tabela de origem. Marque a caixa de seleção Publicar resultados na interface do BigQuery e do Dataplex Catalog.

    É possível conferir os resultados mais recentes da verificação na guia Perfil de dados nas páginas do BigQuery e do Dataplex Universal Catalog para a tabela de origem. Para permitir que os usuários acessem os resultados publicados da verificação, consulte a seção Conceder acesso aos resultados da verificação de perfil de dados deste documento.

    A opção de publicação pode não estar disponível nos seguintes casos:

    • Você não tem as permissões necessárias na tabela.
    • Outra verificação de qualidade de dados está definida para publicar resultados.
  11. Na seção Programação, escolha uma das seguintes opções:

    • Repetir: execute a verificação do perfil de dados em uma programação: por hora, diária, semanal, mensal ou personalizada. Especifique a frequência e o horário da verificação. Se você escolher "Personalizado", use o formato cron para especificar a programação.

    • Sob demanda: execute a verificação do perfil de dados sob demanda.

  12. Clique em Continuar.

  13. Opcional: exporte os resultados da verificação para uma tabela padrão do BigQuery. Na seção Exportar os resultados da verificação para a tabela do BigQuery, faça o seguinte:

    1. No campo Selecionar conjunto de dados do BigQuery, clique em Procurar. Selecione um conjunto de dados do BigQuery para armazenar os resultados da verificação do perfil de dados.

    2. No campo Tabela do BigQuery, especifique a tabela para armazenar os resultados da verificação do perfil de dados. Se você estiver usando uma tabela, verifique se ela é compatível com o esquema da tabela de exportação. Se a tabela especificada não existir, o Dataplex Universal Catalog vai criá-la.

  14. Opcional: adicione rótulos. Rótulos são pares de chave-valor que permitem agrupar objetos relacionados entre si ou com outros recursos Google Cloud .

  15. Para criar a verificação, clique em Criar.

    Se você definir a programação como "sob demanda", também poderá executar a verificação agora clicando em Executar verificação.

gcloud

Para criar uma verificação do perfil de dados, use o comando gcloud dataplex datascans create data-profile.

Se os dados de origem estiverem organizados em um data lake do Dataplex Universal Catalog, inclua a flag --data-source-entity:

gcloud dataplex datascans create data-profile DATASCAN \
--location=LOCATION \
--data-source-entity=DATA_SOURCE_ENTITY

Se os dados de origem não estiverem organizados em um data lake do Dataplex Universal Catalog, inclua a flag --data-source-resource:

gcloud dataplex datascans create data-profile DATASCAN \
--location=LOCATION \
--data-source-resource=DATA_SOURCE_RESOURCE

Substitua as seguintes variáveis:

  • DATASCAN: o nome da verificação do perfil de dados.
  • LOCATION: a região Google Cloud em que a verificação do perfil de dados será criada.
  • DATA_SOURCE_ENTITY: a entidade do Dataplex Universal Catalog que contém os dados da verificação do perfil de dados. Por exemplo, projects/test-project/locations/test-location/lakes/test-lake/zones/test-zone/entities/test-entity.
  • DATA_SOURCE_RESOURCE: o nome do recurso que contém os dados da verificação do perfil de dados. Por exemplo, //bigquery.googleapis.com/projects/test-project/datasets/test-dataset/tables/test-table.

REST

Para criar uma verificação do perfil de dados, use o método dataScans.create.

Criar várias verificações de perfil de dados

É possível configurar verificações de perfil de dados para várias tabelas em um conjunto de dados do BigQuery ao mesmo tempo usando o console Google Cloud .

  1. No console Google Cloud , na página Criação de metadados do BigQuery, acesse a guia Qualidade e criação do perfil de dados.

    Acessar "Qualidade e perfilamento de dados"

  2. Clique em Criar verificação do perfil de dados.

  3. Selecione a opção Várias verificações do perfil de dados.

  4. Insira um prefixo de ID. O Dataplex Universal Catalog gera automaticamente IDs de verificação usando o prefixo fornecido e sufixos exclusivos.

  5. Insira uma Descrição para todas as verificações do perfil de dados.

  6. No campo Conjunto de dados, clique em Procurar. Selecione um conjunto de dados para escolher tabelas. Clique em Selecionar.

  7. Se o conjunto de dados for multirregional, selecione uma região para criar as verificações do perfil de dados.

  8. Configure as configurações comuns das verificações:

    1. No campo Escopo, escolha Incremental ou Dados completos.

    2. Para aplicar a amostragem às verificações do perfil de dados, na lista Tamanho da amostragem, selecione uma porcentagem de amostragem.

      Escolha uma porcentagem entre 0,0% e 100,0% com até três casas decimais.

    3. Opcional: publique os resultados da verificação do perfil de dados nas páginas do BigQuery e do Dataplex Universal Catalog no consoleGoogle Cloud da tabela de origem. Marque a caixa de seleção Publicar resultados na interface do BigQuery e do Dataplex Catalog.

      É possível conferir os resultados mais recentes da verificação na guia Perfil de dados nas páginas do BigQuery e do Dataplex Universal Catalog para a tabela de origem. Para permitir que os usuários acessem os resultados publicados da verificação, consulte a seção Conceder acesso aos resultados da verificação do perfil de dados deste documento.

    4. Na seção Programação, escolha uma das seguintes opções:

      • Repetir: execute as verificações de perfil de dados em uma programação: por hora, diária, semanal, mensal ou personalizada. Especifique a frequência e o horário das verificações. Se você escolher "Personalizado", use o formato cron para especificar a programação.

      • Sob demanda: execute as verificações do perfil de dados sob demanda.

  9. Clique em Continuar.

  10. No campo Escolher tabelas, clique em Procurar. Escolha uma ou mais tabelas para verificar e clique em Selecionar.

  11. Clique em Continuar.

  12. Opcional: exporte os resultados da verificação para uma tabela padrão do BigQuery. Na seção Exportar os resultados da verificação para a tabela do BigQuery, faça o seguinte:

    1. No campo Selecionar conjunto de dados do BigQuery, clique em Procurar. Selecione um conjunto de dados do BigQuery para armazenar os resultados da verificação do perfil de dados.

    2. No campo Tabela do BigQuery, especifique a tabela para armazenar os resultados da verificação do perfil de dados. Se você estiver usando uma tabela, verifique se ela é compatível com o esquema da tabela de exportação. Se a tabela especificada não existir, o Dataplex Universal Catalog vai criá-la para você.

      O Dataplex Universal Catalog usa a mesma tabela de resultados para todas as verificações de perfil de dados.

  13. Opcional: adicione rótulos. Rótulos são pares de chave-valor que permitem agrupar objetos relacionados entre si ou com outros recursos do Google Cloud .

  14. Para criar as verificações, clique em Criar.

    Se você definir a programação como "sob demanda", também poderá executar as verificações agora clicando em Executar verificação.

Executar uma verificação do perfil de dados

Console

  1. No console Google Cloud , na página Criação de metadados do BigQuery, acesse a guia Qualidade e criação do perfil de dados.

    Acessar "Qualidade e perfilamento de dados"

  2. Clique na verificação do perfil de dados para executar.
  3. Clique em Executar agora.

gcloud

Para executar uma verificação do perfil de dados, use o comando gcloud dataplex datascans run:

gcloud dataplex datascans run DATASCAN \
--location=LOCATION

Substitua as seguintes variáveis:

  • DATASCAN: o nome da verificação do perfil de dados.
  • LOCATION: a Google Cloud região em que a verificação do perfil de dados foi criada.

REST

Para executar uma verificação do perfil de dados, use o método dataScans.run.

Ver resultados da verificação do perfil de dados

Console

  1. No console Google Cloud , na página Criação de metadados do BigQuery, acesse a guia Qualidade e criação do perfil de dados.

    Acessar "Qualidade e perfilamento de dados"

  2. Clique no nome de uma verificação do perfil de dados.

    • A seção Visão geral mostra informações sobre os jobs mais recentes, incluindo quando a verificação foi executada, o número de registros de tabela verificados e o status do job.

    • A seção Configuração da verificação de perfil de dados mostra detalhes sobre a verificação.

  3. Para ver informações detalhadas sobre um job, como as colunas da tabela verificada, estatísticas sobre as colunas encontradas na verificação e os registros do job, clique na guia Histórico de jobs. Em seguida, clique em um ID do job.

gcloud

Para conferir os resultados de um job de verificação do perfil de dados, use o comando gcloud dataplex datascans jobs describe:

gcloud dataplex datascans jobs describe JOB \
--location=LOCATION \
--datascan=DATASCAN \
--view=FULL

Substitua as seguintes variáveis:

  • JOB: o ID do job de verificação do perfil de dados.
  • LOCATION: a Google Cloud região em que a verificação do perfil de dados foi criada.
  • DATASCAN: o nome da verificação do perfil de dados a que o job pertence.
  • --view=FULL: para conferir o resultado do job de verificação, especifique FULL.

REST

Para conferir os resultados de uma verificação do perfil de dados, use o método dataScans.get.

Ver resultados publicados

Se os resultados da verificação do perfil de dados forem publicados nas páginas do BigQuery e do Dataplex Universal Catalog no console Google Cloud , você poderá conferir os resultados mais recentes da verificação na guia Perfil de dados da tabela de origem.

  1. No Google Cloud console, acesse a página BigQuery.

    Acessar o BigQuery

  2. No painel Explorer, selecione a tabela com os resultados da verificação do perfil de dados que você quer conferir.

  3. Clique na guia Perfil de dados.

    Os resultados publicados mais recentes são mostrados.

Ver o job de verificação do perfil de dados mais recente

Console

  1. No console Google Cloud , na página Criação de metadados do BigQuery, acesse a guia Qualidade e criação do perfil de dados.

    Acessar "Qualidade e perfilamento de dados"

  2. Clique no nome de uma verificação do perfil de dados.

  3. Clique na guia Resultados do job mais recente.

    A guia Resultados do job mais recente, quando há pelo menos uma execução concluída com sucesso, exibe informações sobre o job mais recente. Ela lista as colunas e estatísticas da tabela verificada sobre as colunas encontradas na verificação.

gcloud

Para conferir a verificação do perfil de dados mais recente, use o comando gcloud dataplex datascans describe:

gcloud dataplex datascans describe DATASCAN \
--location=LOCATION \
--view=FULL

Substitua as seguintes variáveis:

  • DATASCAN: o nome da verificação do perfil de dados para conferir o job mais recente.
  • LOCATION: a região Google Cloud em que a verificação do perfil de dados foi criada.
  • --view=FULL: para conferir o resultado do job de verificação, especifique FULL.

REST

Para ver o job de verificação mais recente, use o método dataScans.get.

Ver o histórico de resultados das verificações

O Dataplex Universal Catalog salva o histórico de verificação do perfil de dados dos últimos 300 jobs ou do ano anterior, o que ocorrer primeiro.

Console

  1. No console Google Cloud , na página Criação de metadados do BigQuery, acesse a guia Qualidade e criação do perfil de dados.

    Acessar "Qualidade e perfilamento de dados"

  2. Clique no nome de uma verificação do perfil de dados.

  3. Clique na guia Histórico de jobs.

    A guia Histórico de jobs fornece informações sobre jobs anteriores, como o número de registros verificados em cada job, o status do job e o tempo de execução do job.

  4. Para ver informações detalhadas sobre um job, clique em qualquer um deles na coluna ID do job.

gcloud

Para conferir os jobs históricos de verificação do perfil de dados, use o comando gcloud dataplex datascans jobs list:

gcloud dataplex datascans jobs list \
--location=LOCATION \
--datascan=DATASCAN

Substitua as seguintes variáveis:

  • LOCATION: a região Google Cloud em que a verificação do perfil de dados foi criada.
  • DATASCAN: o nome da verificação do perfil de dados para conferir os jobs.

REST

Para conferir jobs históricos de verificação do perfil de dados, use o método dataScans.jobs.list.

Conferir as verificações de perfil de dados de uma tabela

Para conferir as verificações de perfil de dados que se aplicam a uma tabela específica, faça o seguinte:

  1. No console Google Cloud , na página Criação de metadados do BigQuery, acesse a guia Qualidade e criação do perfil de dados.

    Acessar "Qualidade e perfilamento de dados"

  2. Filtre a lista por nome da tabela e tipo de verificação.

Conceder acesso aos resultados da verificação do perfil de dados

Para permitir que os usuários da sua organização vejam os resultados da verificação, faça o seguinte:

  1. No console Google Cloud , na página Criação de metadados do BigQuery, acesse a guia Qualidade e criação do perfil de dados.

    Acessar "Qualidade e perfilamento de dados"

  2. Clique na verificação de qualidade de dados cujos resultados você quer compartilhar.

  3. Clique na guia Permissões.

  4. Faça o seguinte:

    • Para conceder acesso a um principal, clique em Conceder acesso. Conceda o papel Leitor de dados do DataScan do Dataplex ao principal associado.
    • Para remover o acesso de um principal, selecione o principal de quem você quer remover o papel Leitor de dados do DataScan do Dataplex. Clique em Remover acesso e confirme quando solicitado.

Gerenciar verificações de perfil de dados para uma tabela específica

As etapas neste documento mostram como gerenciar verificações de perfil de dados no seu projeto usando a página Criação de metadados > Criação de perfil e qualidade de dados do BigQuery no consoleGoogle Cloud .

Também é possível criar e gerenciar verificações de perfil de dados ao trabalhar com uma tabela específica. No console Google Cloud , na página do BigQuery para a tabela, use a guia Perfil de dados. Faça o seguinte:

  1. No console do Google Cloud , acesse a página BigQuery.

    Acessar o BigQuery

    No painel Explorer, selecione a tabela.

  2. Clique na guia Perfil de dados.

  3. Dependendo se a tabela tem uma verificação de perfil de dados com resultados publicados, é possível trabalhar com as verificações de perfil de dados da tabela das seguintes maneiras:

    • Os resultados da verificação de perfil de dados são publicados: os resultados da verificação mais recente são mostrados na página.

      Para gerenciar as verificações do perfil de dados dessa tabela, clique em Verificação do perfil de dados e selecione uma das seguintes opções:

      • Criar nova verificação: crie uma verificação do perfil de dados. Para mais informações, consulte a seção Criar uma verificação de perfil de dados deste documento. Quando você cria uma verificação na página de detalhes de uma tabela, ela é pré-selecionada.

      • Executar agora: executa a verificação.

      • Editar configuração de verificação: edite as configurações, incluindo o nome de exibição, os filtros, o tamanho da amostragem e a programação.

      • Gerenciar permissões de verificação: controle quem pode acessar os resultados da verificação. Para mais informações, consulte a seção Conceder acesso aos resultados da verificação de perfil de dados deste documento.

      • Ver resultados históricos: confira informações detalhadas sobre jobs de verificação do perfil de dados anteriores. Para mais informações, consulte as seções Ver resultados da verificação do perfil de dados e Ver resultados históricos da verificação deste documento.

      • Ver todas as verificações: confira uma lista de verificações de perfil de dados que se aplicam a esta tabela.

    • Os resultados da verificação de perfil de dados não são publicados: clique no menu ao lado de Perfil de dados rápido e selecione uma das seguintes opções:

      • Personalizar a criação de perfis de dados: crie uma nova verificação do perfil de dados. Para mais informações, consulte a seção Criar uma verificação de perfil de dados deste documento. Quando você cria uma verificação na página de detalhes de uma tabela, ela é pré-selecionada.

      • Ver perfis anteriores: confira uma lista de verificações de perfil de dados que se aplicam a essa tabela.

Atualizar uma verificação do perfil de dados

Console

  1. No console Google Cloud , na página Criação de metadados do BigQuery, acesse a guia Qualidade e criação do perfil de dados.

    Acessar "Qualidade e perfilamento de dados"

  2. Clique no nome de uma verificação do perfil de dados.

  3. Clique em Editar e mude os valores.

  4. Clique em Salvar.

gcloud

Para atualizar uma verificação do perfil de dados, use o comando gcloud dataplex datascans update data-profile:

gcloud dataplex datascans update data-profile DATASCAN \
--location=LOCATION \
--description=DESCRIPTION

Substitua as seguintes variáveis:

  • DATASCAN: o nome da verificação do perfil de dados a ser atualizada.
  • LOCATION: a região Google Cloud em que a verificação do perfil de dados foi criada.
  • DESCRIPTION: a nova descrição da verificação do perfil de dados.

REST

Para editar uma verificação de perfil de dados, use o método dataScans.patch.

Excluir uma verificação do perfil de dados

Console

  1. No console Google Cloud , na página Criação de metadados do BigQuery, acesse a guia Qualidade e criação do perfil de dados.

    Acessar "Qualidade e perfilamento de dados"

  2. Clique na verificação que você quer excluir.

  3. Clique em Excluir e confirme quando solicitado.

gcloud

Para excluir uma verificação do perfil de dados, use o comando gcloud dataplex datascans delete:

gcloud dataplex datascans delete DATASCAN \
--location=LOCATION --async

Substitua as seguintes variáveis:

  • DATASCAN: o nome da verificação do perfil de dados a ser excluída.
  • LOCATION: a região Google Cloud em que a verificação do perfil de dados foi criada.

REST

Para excluir uma verificação do perfil de dados, use o método dataScans.delete.

A seguir