Sobre a criação de perfil de dados

A criação de perfil de dados do Dataplex permite identificar características estatísticas comuns das colunas nas tabelas do BigQuery. Essas informações ajudam você a entender e analisar seus dados com mais eficiência.

Informações como valores de dados típicos, distribuição de dados e contagens nulas podem acelerar a análise. Quando combinado com a classificação de dados, o perfil de dados pode detectar classes de dados ou informações sensíveis que, por sua vez, podem ativar políticas de controle de acesso.

O Dataplex também usa essas informações para recomendar regras para verificações de qualidade de dados.

Modelo conceitual

O Dataplex permite entender melhor o perfil dos seus dados criando uma verificação de perfil de dados.

O diagrama a seguir mostra como o Dataplex verifica dados para informar sobre características estatísticas.

Uma verificação de perfil de dados é associada a uma tabela do BigQuery e verifica a tabela para gerar os resultados do perfil de dados. Uma verificação de perfil de dados oferece suporte a várias opções de configuração.

Observação: o Dataplex executa verificações em recursos em um projeto de locatário do Google, para que você não precise configurar sua própria infraestrutura.

Opções de configuração

Esta seção descreve as opções de configuração disponíveis para executar verificações de criação de perfil de dados.

Opções de programação

É possível programar uma verificação de perfil de dados com uma frequência definida ou sob demanda usando a API ou o console do Google Cloud.

Escopo

Como parte da especificação de uma verificação de análise de dados, é possível especificar o escopo de um job como uma das seguintes opções:

• Tabela completa: a verificação de perfil de dados verifica a tabela inteira. A amostragem, os filtros de linha e de coluna são aplicados em toda a tabela antes do cálculo das estatísticas de perfil.

• Incremental: os dados incrementais especificados são verificados na verificação de perfil de dados. Especifique uma coluna Date ou Timestamp na tabela para ser usada como incremento. Normalmente, essa é a coluna em que a tabela é particionada. A amostragem, os filtros de linha e de coluna são aplicados nos dados incrementais antes do cálculo das estatísticas de perfil.

Filtrar dados

É possível filtrar dados para a criação de perfis usando filtros de linha e de coluna. O uso de filtros ajuda a reduzir o tempo e o custo de execução, e excluir dados sensíveis e inúteis.

• Filtros de linha: permitem focar em dados de um período específico ou de um segmento específico, como região. Por exemplo, é possível filtrar dados com um carimbo de data/hora anterior a uma determinada data.

• Filtros de coluna: permitem incluir e excluir colunas específicas da tabela para executar a verificação de criação de perfil de dados.

Dados de amostra

O Dataplex permite especificar uma porcentagem de registros dos seus dados para amostragem e execução de uma verificação de perfil de dados. Criar verificações de criação de perfil de dados em uma amostra menor de dados pode reduzir o tempo de execução e o custo da consulta do conjunto de dados inteiro.

Várias verificações de criação de perfil de dados

O Dataplex permite criar várias verificações de criação de perfil de dados por vez usando o console do Google Cloud. Você pode selecionar até 100 tabelas de um conjunto de dados e criar uma verificação de perfil de dados para cada um deles. Saiba mais.

Exportar os resultados da verificação para a tabela do BigQuery

É possível exportar os resultados da verificação de criação de perfil de dados para uma tabela do BigQuery para uma análise mais detalhada. Para personalizar os relatórios, conecte os dados da tabela do BigQuery a um painel do Looker. É possível criar um relatório agregado usando a mesma tabela de resultados em várias verificações.

Resultados da criação de perfil de dados

Os resultados do perfil de dados incluem os seguintes valores:

Tipo de coluna	Resultados da criação de perfil de dados
Coluna numérica	Porcentagem de valores nulos. Porcentagem de valores únicos (distintos) aproximados. Os 10 valores mais comuns na coluna. Pode ser menor que 10 se o número de valores únicos na coluna for menor que 10 (valores nulos não são incluídos). Para cada um desses valores mais comuns, a porcentagem de ocorrência nos dados verificados na verificação atual é exibida. Média, desvio padrão, mínimo, quartil inferior aproximado, mediana aproximada, quartil superior aproximado e valores máximos.
Coluna de string	Porcentagem de valores nulos. Porcentagem de valores únicos (distintos) aproximados. Os 10 valores mais comuns na coluna, que podem ser menos de 10 se o número de valores únicos na coluna for menor que 10. Comprimento médio, mínimo e máximo da string.
Outras colunas não aninhadas (data, hora, carimbo de data/hora, binário etc.)	Porcentagem de valores nulos. Porcentagem de valores únicos (distintos) aproximados. Os 10 valores mais comuns na coluna, que podem ser menos de 10 se o número de valores únicos na coluna for menor que 10.
Todas as outras colunas aninhadas ou complexas de tipo de dados (como registro, matriz, JSON) ou qualquer coluna com o modo repetido.	Porcentagem de valores nulos.

Os resultados incluem o número de registros verificados em cada execução.

Observação: os valores aproximados podem variar de 1% a 2% em relação aos valores reais para melhorar a performance.

Relatórios e monitoramento

É possível monitorar e analisar os resultados de criação de perfil de dados usando os seguintes relatórios e métodos:

• Relatórios publicados com a tabela de origem nas páginas do BigQuery e do Data Catalog

  Se você tiver configurado uma verificação de criação de perfil de dados para publicar os resultados nas páginas do BigQuery e do Data Catalog no console do Google Cloud, será possível conferir os resultados mais recentes da verificação de criação de perfil de dados nessas páginas na guia Perfil de dados de qualquer projeto.

  

• Histórico, por relatório de job no Dataplex

  Na página Perfil do Dataplex, você pode conferir os relatórios detalhados dos jobs mais recentes e históricos. Isso inclui informações de perfil no nível da coluna e a configuração usada.

  

• Guia "Análise"

  Na página Perfil do Dataplex, use a guia Análise para conferir as tendências de uma determinada estatística de uma coluna em vários jobs de perfil. Por exemplo, se você tiver uma verificação incremental, poderá conferir como a média de um valor tem uma tendência ao longo do tempo.

  

• Criar seu próprio painel ou análise

  Se você configurou uma verificação de criação de perfil de dados para exportar ou salvar resultados em uma tabela do BigQuery, crie seus próprios painéis usando ferramentas como o Looker Studio.

Limitações

• Os resultados da criação de perfil de dados não são publicados no Data Catalog como tags.
• A criação de perfil de dados é compatível com tabelas do BigQuery com todos os tipos de coluna, exceto BIGNUMERIC. Uma verificação criada para uma tabela com uma coluna BIGNUMERIC resulta em um erro de validação e não é criada.
• As tabelas do BigQuery a serem verificadas precisam ter 300 colunas ou menos.

Preços

• O Dataplex usa a SKU de processamento premium para cobrar pelo perfil de dados. Para mais informações, consulte Preços.

• A publicação dos resultados da criação de perfil de dados no Data Catalog ainda não está disponível. Quando ele estiver disponível, será cobrado na mesma taxa do preço de armazenamento de metadados do catálogo. Para saber mais informações, consulte Preços.

• O processamento premium do Dataplex para criação de perfil de dados é cobrado por segundo com um mínimo de um minuto.

• Não há cobrança por verificações de perfil com falha.

• A cobrança depende do número de linhas, colunas, dados verificados, configurações de particionamento e agrupamento na tabela e da frequência da verificação.

• Há várias opções para reduzir o custo das verificações de perfil de dados:

  • Amostragem
  • Verificações incrementais
  • Filtragem de colunas
  • Filtragem de linhas

• Para separar as cobranças de criação de perfil de dados de outras cobranças na SKU de processamento premium do Dataplex, no relatório do Cloud Billing, use o rótulo goog-dataplex-workload-type com o valor DATA_PROFILE.

• Para filtrar as cobranças agregadas, use os seguintes rótulos:

  • goog-dataplex-datascan-data-source-dataplex-entity
  • goog-dataplex-datascan-data-source-dataplex-lake
  • goog-dataplex-datascan-data-source-dataplex-zone
  • goog-dataplex-datascan-data-source-project
  • goog-dataplex-datascan-data-source-region
  • goog-dataplex-datascan-id
  • goog-dataplex-datascan-job-id

A seguir

• Saiba como usar a criação de perfil de dados.
• Saiba mais sobre a qualidade de dados automática.
• Saiba como usar a qualidade de dados automática.