Com as tarefas de qualidade de dados do Dataplex, você pode definir e executar verificações de qualidade de dados em tabelas no BigQuery e no Cloud Storage. As tarefas de qualidade de dados do Dataplex também permitem aplicar controles de dados regulares em ambientes do BigQuery.
Quando criar tarefas de qualidade de dados do Dataplex
As tarefas de qualidade de dados do Dataplex podem ajudar você a:
- Validar os dados como parte de um pipeline de produção de dados.
- Monitorar rotineiramente a qualidade dos conjuntos de dados em relação às suas expectativas.
- Criar relatórios de qualidade de dados para atender às exigências regulatórias.
Benefícios
- Especificações personalizáveis. Você pode usar a sintaxe YAML altamente flexível para declarar suas regras de qualidade de dados.
- Implementação sem servidor. O Dataplex não precisa de nenhuma configuração de infraestrutura.
- Copiar sem cópia e pushdown automático. As verificações YAML são convertidas em SQL e enviadas para o BigQuery, o que resulta na ausência de cópia de dados.
- Verificações de qualidade dos dados programáveis. É possível programar verificações de qualidade de dados usando o programador sem servidor no Dataplex ou a API do Dataplex com programadores externos, como o Cloud Composer, para integração de pipeline.
- Experiência gerenciada. O Dataplex usa um mecanismo de qualidade de dados de código aberto, o CloudDQ, para executar verificações de qualidade de dados. No entanto, o Dataplex oferece uma experiência gerenciada perfeita para realizar verificações de qualidade de dados.
Como as tarefas de qualidade de dados funcionam
O diagrama a seguir mostra como as tarefas de qualidade de dados do Dataplex funcionam:
- Entrada dos usuários
- Especificação YAML: um conjunto de um ou mais arquivos YAML que definem regras de qualidade de dados com base na sintaxe da especificação. Você armazena os arquivos YAML em um bucket do Cloud Storage no seu projeto. Os usuários podem executar várias regras simultaneamente, e essas regras podem ser aplicadas a diferentes tabelas do BigQuery, incluindo tabelas em diferentes conjuntos de dados ou Google Cloudprojetos. A especificação oferece suporte a execuções incrementais apenas para validar novos dados. Para criar uma especificação YAML, consulte Criar um arquivo de especificação.
- Tabela de resultados do BigQuery: uma tabela especificada pelo usuário em que os resultados da validação da qualidade dos dados são armazenados. O projeto Google Cloud em que esta tabela está armazenada pode ser diferente daquele em que a tarefa de qualidade de dados do Dataplex é usada.
- Tabelas a serem validadas
- Na especificação YAML, é necessário especificar quais tabelas você quer validar para quais regras, também conhecido como vinculação de regras. As tabelas podem ser nativas ou externas do BigQuery no Cloud Storage. A especificação YAML permite especificar tabelas dentro ou fora de uma zona do Dataplex.
- As tabelas do BigQuery e do Cloud Storage que são validadas em uma única execução podem pertencer a projetos diferentes.
- Tarefa de qualidade de dados do Dataplex: uma tarefa de qualidade de dados do Dataplex é configurada com um binário PySpark do CloudDQ pré-criado e mantido e usa a especificação YAML e a tabela de resultados do BigQuery como entrada. Assim como outras tarefas do Dataplex, a tarefa de qualidade de dados do Dataplex é executada em um ambiente Spark sem servidor, converte a especificação YAML em consultas do BigQuery e, em seguida, executa essas consultas nas tabelas definidas no arquivo de especificação.
Preços
Quando você executa tarefas de qualidade de dados do Dataplex, você é cobrado pelo uso do BigQuery e do Dataproc sem servidor (Batches).
A tarefa de qualidade de dados do Dataplex converte o arquivo de especificação em consultas do BigQuery e as executa no projeto do usuário. Consulte Preços do BigQuery.
O Dataplex usa o Spark para executar o programa de driver CloudDQ de código aberto pré-criado e mantido pelo Google para converter a especificação do usuário em consultas do BigQuery. Consulte Preços do Dataproc sem servidor.
Não há cobranças pelo uso do Dataplex para organizar dados ou pelo uso do agendador sem servidor no Dataplex para programar verificações de qualidade de dados. Consulte Preços do Dataplex.