Visão geral da qualidade de dados automática

Este documento descreve a qualidade de dados automática do Dataplex, que permite definir e medir a qualidade dos seus dados. É possível automatizar de dados, validar dados em relação a regras definidas e registrar alertas se as não atendem aos requisitos de qualidade. É possível gerenciar regras de qualidade de dados e implantações como código, melhorando a integridade dos pipelines de produção de dados.

Para começar, use as recomendações de regra de criação de perfil de dados do Dataplex ou crie regras personalizadas no console do Google Cloud. O Dataplex fornece monitoramento, solução de problemas Alertas do Cloud Logging integrados ao Dataplex automaticamente a qualidade dos dados.

Modelo conceitual

Uma verificação de qualidade de dados aplica regras de qualidade aos dados da tabela para informar os resultados.

Uma verificação de dados é um job do Dataplex que amostra dados do BigQuery e do Cloud Storage e infere vários tipos de metadados. Para medir a qualidade de uma tabela usando a qualidade de dados automática, crie um objeto DataScan do tipo data quality. A verificação é executada em apenas uma tabela do BigQuery. A verificação usa recursos em um projeto de locatário do Google, para que você não precise configurar sua própria infraestrutura.

A criação e o uso de uma verificação de qualidade de dados consistem nas seguintes etapas:

  1. Definir regras de qualidade dos dados
  2. Configurar a execução da regra
  3. Analisar os resultados da verificação de qualidade de dados
  4. Configurar o monitoramento e os alertas
  5. Resolver falhas na qualidade de dados

Definição da regra

As regras de qualidade de dados associadas a uma verificação de qualidade de dados definem as expectativas de dados. É possível criar regras de qualidade de dados das seguintes maneiras:

Regras predefinidas

O Dataplex oferece suporte a duas categorias de regras predefinidas: no nível da linha ou agregadas.

No nível da linha

Para regras de categoria no nível da linha, a expectativa é aplicada a cada linha de dados. Cada linha passa ou falha na condição de forma independente. Por exemplo, column_A_value < 1

As verificações no nível da linha exigem que você especifique um limite de aprovação. Quando o a porcentagem de linhas que passam a regra estiver abaixo do valor limite, a regra falhar.

Agregar

Para regras de agregação, a expectativa é são aplicados a um único valor agregado em todos os dados. Por exemplo, Avg(someCol) >= 10. Para ser aprovado, a verificação deve avaliar booleano true. As regras de agregação não estabelecem uma aprovação independente ou uma reprovação para cada linha.

Em ambas as categorias de regras, você pode definir os seguintes parâmetros:

  • A coluna à qual a regra se aplica.
  • Uma dimensão de um conjunto de dimensões predefinidas.

A tabela a seguir lista os tipos de regra agregada e no nível da linha compatíveis:

Tipo de regra
(nome no console do Google Cloud)		 Regra agregada ou no nível da linha Descrição Tipos de colunas aceitos Parâmetros específicos da regra
RangeExpectation
(Verificação de intervalo)		 No nível da linha Verifique se o valor está entre mínimo e máximo. Todas as colunas numéricas, de data e de carimbo de data/hora. Obrigatório:
  • Porcentagem de acertos para aprovação
  • Valores mean, min ou max: especifique pelo menos um valor.
Opcional:
  • Ativar strict min: se ativado, a verificação de regra vai usar ">" em vez de ">=".
  • Ativar strict max: se ativada, a verificação de regras usa "<" em vez de "<=".
  • Ativar ignore null: se ativado, os valores nulos serão ignorados na verificação de regras.
NonNullExpectation
(Verificação de valores nulos)		 No nível da linha Valide se os valores da coluna não são NULL. Todos os tipos de colunas aceitos. Obrigatório:
  • Porcentagem do limite de aprovação.
SetExpectation
(Set check)		 No nível da linha Verifica se os valores em uma coluna são um dos valores especificados em um conjunto. Todos os tipos de coluna com suporte, exceto Record e Struct. Obrigatório:
  • Conjunto de valores de string a serem verificados.
  • Porcentagem do limite de aprovação.
Opcional:
  • Ativar ignore null: se ativado, os valores nulos serão ignorados na verificação de regras.
RegexExpectation
(Verificação de expressão regular)		 No nível da linha Verifique os valores em relação a uma expressão regular especificada. String Obrigatório:
  • Padrão de expressão regular usado para verificar.
  • Porcentagem do limite de aprovação.
  • Observação: o SQL padrão do Google oferece suporte a expressões regulares usando a biblioteca re2. Consulte a documentação para saber mais sobre a sintaxe de expressões regulares.
Opcional:
  • Ativar ignore null: se ativado, os valores nulos são ignorados em na verificação de regras.
Uniqueness
(Verificação de exclusividade)		 Agregar Verifique se todos os valores em uma coluna são únicos. Todos os tipos de coluna com suporte, exceto Record e Struct. Obrigatório:
  • Coluna e dimensão do modelo parâmetros.
Opcional:
  • Ativar ignore null: se ativado, os valores nulos são ignorados em na verificação de regras.
StatisticRangeExpectation
(Verificação de estatística)		 Agregar Verifica se a medida estatística corresponde à expectativa do intervalo. Todos os tipos de coluna numérica com suporte. Obrigatório:
  • mean, min ou Valores max: especifique pelo menos um valor.
Opcional:
  • Ativar strict min: se ativado, a verificação de regra vai usar ">" em vez de ">=".
  • Ativar strict max: se ativada, a verificação de regras usa "<" em vez de "<=".

Tipos de regras SQL personalizadas com suporte

As regras do SQL oferecem flexibilidade para expandir a validação com lógica personalizada. Esses e as regras de firewall têm os tipos a seguir.

Tipo de regra Regra de linha ou agregada Descrição Tipos de colunas aceitos Parâmetros específicos da regra Exemplo
Condição da linha No nível da linha

Especifique uma expectativa para cada linha definindo um SQL. em uma cláusula WHERE. A expressão SQL precisa avaliar como true (aprovado) ou false (reprovado) por linha. O Dataplex calcula a porcentagem de linhas que atendem a essa expectativa e compara esse valor com a porcentagem de limite de aprovação para determinar o sucesso ou a falha da regra.

A expressão pode incluir uma referência a outra tabela, por exemplo, para criar verificações de integridade referencial.

 Todas as colunas Obrigatório:
  • Condição de SQL a ser usada
  • Porcentagem de acertos para aprovação
  • Dimensão
Opcional:
  • Coluna para associar a esta regra.
 grossWeight <= netWeight
Condição da tabela
(expressão SQL agregada)		 Agregar

Essas regras são executadas uma vez por tabela. Forneça uma expressão SQL que é avaliado como booleano true (aprovado) ou false (reprovação).

A expressão SQL pode incluir uma referência a outra tabela usando subconsultas de expressão;

 Todas as colunas Obrigatório:
  • Condição SQL a ser usada
  • Dimensão
Opcional:
  • Coluna para associar a esta regra

Exemplo simples de agregação:
avg(price) > 100

Usando uma subconsulta de expressão para comparar valores em uma tabela diferente:
(SELECT COUNT(*) FROM `example_project.example_dataset.different-table`) < COUNT(*)
Declaração do SQL Agregar

Uma regra de declaração usa uma consulta de qualidade de dados para encontrar linhas com falha uma ou mais condições especificadas na consulta. Forneça uma instrução SQL que seja avaliada para retornar linhas que correspondam ao estado inválido. Se a consulta retornar linhas, a regra falhará.

Omita o ponto e vírgula final da instrução SQL.

A instrução SQL pode incluir uma referência a outra tabela usando subconsultas de expressão.

 Todas as colunas Obrigatório:
  • Instrução SQL para verificar o estado inválido
  • Dimensão
Opcional:
  • Coluna à qual associar esta regra.

Exemplo simples de agregação para garantir que discount_pct não é maior que 100:
SELECT * FROM example_project.example_dataset.table WHERE discount_pct > 100

Usar uma subconsulta de expressão para comparar valores em uma tabela diferente:
SELECT * FROM `example_project.example_dataset.different-table` WHERE gross_weight > (SELECT avg(gross_weight) FROM `example_project.example_dataset.different-table`)

Para conferir exemplos de regras, consulte exemplos de regras de qualidade de dados automática.

Para saber quais funções SQL são compatíveis, consulte a Referência do GoogleSQL.

Dimensões

Com as dimensões, você pode agregar os resultados de várias regras de qualidade de dados para monitoramento e alertas. É necessário associar todas as regras de qualidade de dados a uma dimensão. O Dataplex é compatível com as seguintes dimensões:

  • Atualização
  • Volume
  • Integridade
  • Validade
  • Consistência
  • Precisão
  • Exclusividade

Entrada digitada nas regras

Todos os parâmetros de valor são transmitidos como valores de string para a API. O Dataplex requer entradas para seguir Formato especificado do BigQuery.

Parâmetros do tipo binário podem ser transmitidos como uma string codificada em base64.

Tipo Formatos compatíveis Exemplos
Binário Valor codificado em Base64 YXBwbGU=
Carimbo de data/hora YYYY-[M]M-[D]D[( |T)[H]H:[M]M:[S]S[.F]] [time_zone]
OU YYYY-[M]M-[D]D[( |T)[H]H:[M]M:[S]S[.F]][time_zone_offset]		 2014-09-27 12:30:00.45-08
Data YYYY-M[M]-D[D] 2014-09-27
Hora [H]H:[M]M:[S]S[.DDDDDD] 12:30:00.45
DateTime AAAA-[M]M-[D]D [[H]H:[M]M:[S]S[.DDDDDD]] 2014-09-27 12:30:00.45

Parâmetro de referência de dados

Ao criar uma regra SQL personalizada, você pode se referir a uma tabela de origem de dados e a todos os filtros de pré-condição dela usando o parâmetro de referência de dados ${data()} na regra, em vez de mencionar explicitamente a tabela de origem e os filtros. O Dataplex interpreta o parâmetro como uma referência à origem tabela e seus filtros. Exemplos de filtros de pré-condição incluem filtros de linha, porcentagens de amostragem e filtros incrementais.

Por exemplo, digamos que você tenha uma tabela de fonte de dados chamada my_project_id.dim_dataset.dim_currency: Você quer executar uma verificação incremental de qualidade de dados que verifique apenas os novos dados diários. Um filtro de linha que filtra as entradas de hoje, transaction_timestamp >= current_date(), é aplicado na tabela.

Uma regra SQL personalizada para encontrar linhas com discount_pct para hoje tem esta aparência:

discount_pct IN (SELECT discount_pct FROM my_project_id.dim_dataset.dim_currency WHERE transaction_timestamp >= current_date())

Se você usar o parâmetro de referência de dados, poderá simplificar a regra. Substitua a menção da tabela e dos filtros de pré-condição por ${data()}:

discount_pct IN (SELECT discount_pct FROM ${data()})

O Dataplex interpreta o parâmetro ${data()} como uma referência à tabela da fonte de dados com as entradas de hoje, my_project_id.dim_dataset.dim_currency WHERE transaction_timestamp >= current_date(). Neste exemplo, o parâmetro de referência de dados se refere apenas dados.

O parâmetro ${data()} diferencia maiúsculas de minúsculas.

Quando você usa um alias em uma subconsulta para se referir a colunas na tabela de origem, use o parâmetro de referência de dados para se referir à tabela de origem ou omita na referência da tabela. Não se refira às colunas na tabela de origem usando uma referência direta de tabela na cláusula WHERE.

Recomendação:

  • Use o parâmetro de referência de dados para se referir à tabela de origem:

    discount_pct IN (
SELECT discount_pct FROM
`my_project_id.dim_dataset.dim_currency` AS temp-table
WHERE
temp-table.transaction_timestamp = ${data()}.timestamp
)

  • Omita a referência da tabela:

    discount_pct IN (
SELECT discount_pct FROM
`my_project_id.dim_dataset.dim_currency` AS temp-table
WHERE
temp-table.transaction_timestamp = timestamp
)

Não recomendado:

  • Não use uma referência direta de tabela para se referir a colunas na tabela de origem:

    discount_pct IN (
SELECT discount_pct FROM
`my_project_id.dim_dataset.dim_currency` AS temp-table
WHERE
temp-table.transaction_timestamp = `my_project_id.dim_dataset.dim_currency`.timestamp
)

Execução de regras

É possível programar verificações de qualidade de dados para serem executadas em um intervalo específico ou executar uma verificação sob demanda. Para gerenciar verificações de qualidade de dados, use a API ou o console do Google Cloud.

Quando você executa uma verificação de qualidade de dados, o Dataplex cria um job. Como parte da especificação de uma verificação de qualidade de dados, é possível definir o escopo ser uma das seguintes opções:

Tabela completa
Cada job valida a tabela inteira.
Incremental
Cada job valida dados incrementais. Para determinar incrementos, forneça uma coluna Date / Timestamp na tabela que possa ser usada como marcador. Normalmente, esta é a coluna em que está particionada.

Filtrar dados

O Dataplex pode filtrar dados para verificar a qualidade usando um filtro de linha. Criar um filtro de linha permite que você se concentre nos dados de uma determinada período ou segmento específico, como uma determinada região. O uso de filtros pode reduzir o tempo e o custo de execução, por exemplo, filtrando dados com um carimbo de data/hora anterior a uma determinada data.

Dados de amostra

O Dataplex permite especificar uma porcentagem de registros dos seus dados para fazer uma verificação de qualidade de dados. Criar verificações de qualidade de dados em uma amostra menor de dados pode reduzir o tempo de execução e o custo de consulta do conjunto de dados inteiro.

Resultados da verificação de qualidade de dados

Os resultados das verificações de qualidade de dados estão disponíveis no Dataplex. Também é possível revisar e analisar os resultados da verificação usando os seguintes métodos:

  • Exportar resultados para o BigQuery

    É possível exportar os resultados da verificação para uma tabela do BigQuery para uma análise mais detalhada. Para personalizar os relatórios, conecte o BigQuery dados de tabelas para um painel do Looker. Você pode criar um relatório agregado usando a mesma tabela de resultados em várias verificações.

  • Publicar resultados no console do Google Cloud

    É possível publicar os resultados da verificação de qualidade de dados nas páginas do BigQuery e do Data Catalog da tabela de origem no console do Google Cloud. Os resultados mais recentes da verificação estão disponíveis na Guia Qualidade de dados da tabela de origem.

  • Revisar os índices de qualidade de dados

    Cada resultado da verificação fornece pontuações de qualidade de dados que indicam a porcentagem de regras que foram atendidas. As pontuações são informadas no nível geral da vaga, a coluna nível (se a regra for avaliada em relação a uma coluna) e o nível da dimensão. Usar os índices de qualidade de dados para normalizar a qualidade dos dados em tabelas ou colunas, monitorar tendências e identificar dados que não atendem aos requisitos de qualidade.

Para mais informações, consulte Conferir os resultados da verificação de qualidade de dados.

Monitoramento e alertas

É possível monitorar e receber alertas sobre verificações de qualidade de dados usando as seguintes opções: métodos:

  • Definir alertas no Cloud Logging

    É possível monitorar os jobs de qualidade de dados usando os registros data_scan e data_quality_scan_rule_result no Explorador de registros.

    Para cada job de qualidade de dados, o registro data_scan com o campo data_scan_type definido como DATA_QUALITY contém as seguintes informações:

    • Fonte de dados usada na verificação de dados.
    • detalhes da execução do job, como horário de criação, de início, de término e o estado do job.
    • Resultado do job de qualidade de dados: aprovado ou reprovado.
    • Aprovação ou reprovação no nível da dimensão.

    Cada job concluído contém um registro data_quality_scan_rule_result com as seguintes informações detalhadas sobre cada regra nesse job:

    • informações de configuração, como nome da regra, tipo de regra, tipo de avaliação, e dimensão.
    • Informações do resultado, como aprovação ou reprovação, contagem total de linhas, contagem de linhas aprovadas, contagem de linhas nulas e contagem de linhas avaliadas.

    As informações nos registros estão disponíveis na API e no console do Google Cloud. Você pode usar essas informações para configurar alertas. Para mais informações, consulte Defina alertas no Logging.

  • Enviar notificações por e-mail

    Você pode enviar notificações por e-mail para alertar as pessoas sobre o status e os resultados de um job de qualidade de dados. As notificações estão disponíveis para cenários a seguir:

    • O índice de qualidade de dados é menor do que o índice desejado especificado
    • Falha no job
    • O job foi concluído

    Você configura as notificações ao criar uma verificação de qualidade de dados.

Resolver falhas na qualidade de dados

Quando uma regra falha, o Dataplex produz uma consulta para recuperar registros. Execute esta consulta para conferir os registros que não correspondem à sua regra. Para mais informações, consulte Solucionar uma falha na qualidade de dados.

Limitações

  • Os resultados da verificação de qualidade de dados não são publicados no Data Catalog como .
  • As recomendações de regras não são compatíveis com a CLI gcloud.
  • A escolha das dimensões é fixada em uma das sete predefinidas.
  • O número de regras por verificação de qualidade de dados é limitado a mil.
  • As notificações por e-mail são compatíveis apenas com a CLI e a API gcloud.
  • As pontuações de qualidade de dados que são informadas no nível da coluna têm suporte apenas na API.

Preços

  • O Dataplex usa a SKU de processamento premium para cobrar por a qualidade dos dados. Para mais informações, consulte Preços do Dataplex.

  • A publicação de resultados automáticos de qualidade de dados no catálogo ainda não está disponível. Quando estará disponível, será cobrada a mesma taxa dos metadados do catálogo os preços de armazenamento. Para mais detalhes, consulte os preços.

  • O processamento premium do Dataplex para qualidade de dados automática é cobrado de acordo segundo, com o mínimo de um minuto.

  • Não há cobranças por verificações de qualidade de dados com falha.

  • A cobrança depende do número de linhas, colunas, dados verificados, configuração da regra de qualidade de dados, configurações de particionamento e agrupamento na tabela e frequência da verificação.

  • Há várias opções para reduzir o custo das verificações automáticas de qualidade de dados:

  • Para separar as cobranças de qualidade de dados de outras cobranças na SKU de processamento premium do Dataplex, no relatório do Cloud Billing, use o rótulo goog-dataplex-workload-type com o valor DATA_QUALITY.

  • Para filtrar cobranças agregadas, use os seguintes rótulos:

    • goog-dataplex-datascan-data-source-dataplex-entity
    • goog-dataplex-datascan-data-source-dataplex-lake
    • goog-dataplex-datascan-data-source-dataplex-zone
    • goog-dataplex-datascan-data-source-project
    • goog-dataplex-datascan-data-source-region
    • goog-dataplex-datascan-id
    • goog-dataplex-datascan-job-id

A seguir