Présentation de la qualité automatique des données

Ce document décrit la qualité automatique des données Dataplex, qui vous permet de définir et de mesurer la qualité de vos données. Vous pouvez automatiser l'analyse des données, les valider par rapport à des règles définies et enregistrer des alertes si vos données ne répondent pas à des exigences de qualité. Vous pouvez gérer les règles de qualité des données et les déploiements sous forme de code, ce qui améliore l'intégrité des pipelines de production de données.

Vous pouvez commencer par appliquer les recommandations de règles de profilage de données Dataplex ou créer des règles personnalisées dans la console Google Cloud. Dataplex fournit des fonctionnalités de surveillance, de dépannage et d'alerte Cloud Logging qui sont intégrées à la qualité automatique des données Dataplex.

Modèle conceptuel

Une analyse de données est une tâche Dataplex qui échantillonne les données de BigQuery et de Cloud Storage, et déduit différents types de métadonnées. Pour mesurer la qualité d'une table à l'aide de la qualité automatique des données, vous devez créer un objet DataScan de type data quality. L'analyse s'exécute sur une seule table BigQuery. L'analyse utilise les ressources d'un projet locataire Google. Vous n'avez donc pas besoin de configurer votre propre infrastructure.

Pour créer et utiliser une analyse de la qualité des données, procédez comme suit:

1. Définir des règles de qualité des données
2. Configurer l'exécution de la règle
3. Analyser les résultats de l'analyse de la qualité des données
4. Configurer la surveillance et les alertes
5. Résoudre les problèmes de qualité des données

Définition de la règle

Les règles de qualité des données associées à une analyse de la qualité des données définissent les attentes concernant les données. Vous pouvez créer des règles de qualité des données de différentes manières:

• Utiliser les recommandations du profilage de données Dataplex
• Utiliser les règles prédéfinies
• Créer des règles SQL personnalisées

Règles prédéfinies

Dataplex accepte deux catégories de règles prédéfinies: au niveau des lignes ou des règles agrégées.

Au niveau de la ligne

Pour les règles de catégorie au niveau des lignes, l'attente s'applique à chaque ligne de données. Chaque ligne réussit ou échoue indépendamment à la condition. Par exemple, column_A_value < 1.

Les vérifications au niveau des lignes nécessitent la spécification d'un seuil minimal. Lorsque le pourcentage de lignes qui respectent la règle passe en dessous de la valeur seuil, la règle échoue.

Aggregate

Pour les règles d'agrégation, l'attente est appliquée à une valeur unique agrégée sur l'ensemble des données. (par exemple, Avg(someCol) >= 10) Pour réussir, la vérification doit renvoyer la valeur booléenne true. Les règles d'agrégation ne fournissent pas de nombre de réussites ou d'échecs indépendant pour chaque ligne.

Pour les deux catégories de règles, vous pouvez définir les paramètres suivants:

• Colonne à laquelle la règle s'applique.
• Dimension issue d'un ensemble de dimensions prédéfinies.

Le tableau suivant répertorie les types de règles d'agrégation et au niveau des lignes compatibles:

Type de règle (nom dans la console Google Cloud)	Règle au niveau de la ligne ou règle d'agrégation	Description	Types de colonnes acceptés	Paramètres propres à la règle
RangeExpectation (Vérification de la plage)	Au niveau de la ligne	Vérifiez si la valeur est comprise entre la valeur minimale et la valeur maximale.	Toutes les colonnes de type numérique, date et code temporel.	Obligatoire: Pourcentage du seuil de réussite Valeurs mean, min ou max: spécifiez au moins une valeur. Facultatif: Activer strict min: si cette option est activée, la vérification des règles utilise ">" au lieu de ">=". Activer strict max: si cette option est activée, la vérification des règles utilise "<" au lieu de "<=". Activer ignore null: si cette option est activée, les valeurs nulles sont ignorées lors de la vérification des règles.
NonNullExpectation (Vérification de la valeur nulle)	Au niveau de la ligne	Vérifiez que les valeurs des colonnes ne sont pas NULL.	Tous les types de colonnes acceptés.	Obligatoire: Pourcentage du seuil de réussite.
SetExpectation (Vérifier)	Au niveau de la ligne	Vérifiez si les valeurs d'une colonne sont l'une des valeurs spécifiées dans un ensemble.	Tous les types de colonnes acceptés, sauf Record et Struct.	Obligatoire: Ensemble de valeurs de chaîne à comparer. Pourcentage du seuil de réussite. Facultatif: Activer ignore null: si cette option est activée, les valeurs nulles sont ignorées lors de la vérification des règles.
RegexExpectation (Vérification des expressions régulières)	Au niveau de la ligne	Comparez les valeurs à une expression régulière spécifiée.	Chaîne	Obligatoire: Modèle d'expression régulière utilisé pour la vérification. Pourcentage du seuil de réussite. Remarque: La bibliothèque re2 permet d'utiliser des expressions régulières dans le langage SQL standard de Google. Consultez la documentation de cette bibliothèque pour en savoir plus sur la syntaxe d'expression régulière à utiliser. Facultatif: Activer ignore null: si cette option est activée, les valeurs nulles sont ignorées lors de la vérification des règles.
Uniqueness (Vérification de l'unicité)	Aggregate	Vérifiez si toutes les valeurs d'une colonne sont uniques.	Tous les types de colonnes acceptés, sauf Record et Struct.	Obligatoire: Colonne et dimension des paramètres acceptés. Facultatif: Activer ignore null: si cette option est activée, les valeurs nulles sont ignorées lors de la vérification des règles.
StatisticRangeExpectation (Vérification statistique)	Aggregate	Vérifiez si la mesure statistique donnée correspond aux attentes concernant la plage.	Tous les types de colonnes numériques acceptés.	Obligatoire: Valeurs mean, min ou max: spécifiez au moins une valeur. Facultatif: Activer strict min: si cette option est activée, la vérification des règles utilise ">" au lieu de ">=". Activer strict max: si cette option est activée, la vérification des règles utilise "<" au lieu de "<=".

Types de règles SQL personnalisées compatibles

Les règles SQL offrent la flexibilité nécessaire pour étendre la validation à l'aide d'une logique personnalisée. Il existe plusieurs types de règles.

Type de règle	Règle au niveau de la ligne ou règle d'agrégation	Description	Types de colonnes acceptés	Paramètres propres à la règle	Exemple
Condition de ligne	Au niveau de la ligne	Spécifiez une attente pour chaque ligne en définissant une expression SQL dans une clause WHERE. L'expression SQL doit renvoyer la valeur true (réussite) ou false (échec) par ligne. Dataplex calcule le pourcentage de lignes qui répondent à cette attente et compare cette valeur au pourcentage du seuil minimal pour déterminer si la règle a réussi ou échoué. L'expression peut inclure une référence à une autre table, par exemple pour créer des contrôles d'intégrité référentielle.	Toutes les colonnes	Obligatoire: Condition SQL à utiliser Pourcentage du seuil de réussite Dimension Facultatif: Colonne à laquelle associer cette règle.	grossWeight <= netWeight
Condition de table (expression SQL agrégée)	Aggregate	Ces règles sont exécutées une fois par table. Fournissez une expression SQL qui renvoie la valeur booléenne true (réussite) ou false (échec). L'expression SQL peut inclure une référence à une autre table à l'aide de sous-requêtes d'expression.	Toutes les colonnes	Obligatoire: Condition SQL à utiliser Dimension Facultatif: Colonne à laquelle associer cette règle	Exemple d'agrégation simple: avg(price) > 100 Utiliser une sous-requête d'expression pour comparer des valeurs dans une autre table: (SELECT COUNT(*) FROM `example_project.example_dataset.different-table`) < COUNT(*)
Assertion SQL	Aggregate	Une règle d'assertion utilise une requête de qualité des données pour rechercher les lignes qui échouent à une ou plusieurs conditions spécifiées dans la requête. Fournissez une instruction SQL évaluée pour renvoyer les lignes correspondant à l'état non valide. Si la requête renvoie des lignes, la règle échoue. Omettez le point-virgule de fin de l'instruction SQL. L'instruction SQL peut inclure une référence à une autre table à l'aide de sous-requêtes d'expression.	Toutes les colonnes	Obligatoire: Instruction SQL pour vérifier l'état non valide Dimension Facultatif: Colonne à laquelle associer cette règle.	Exemple d'agrégation simple pour s'assurer que discount_pct n'est pas supérieur à 100: SELECT * FROM example_project.example_dataset.table WHERE discount_pct > 100 Utiliser une sous-requête d'expression pour comparer des valeurs dans une autre table: SELECT * FROM `example_project.example_dataset.different-table` WHERE gross_weight > (SELECT avg(gross_weight) FROM `example_project.example_dataset.different-table`)

Pour obtenir des exemples de règles, consultez les exemples de règles relatives à la qualité des données automatiques.

Pour connaître les fonctions SQL compatibles, consultez la documentation de référence sur GoogleSQL.

Dimensions

Les dimensions vous permettent d'agréger les résultats de plusieurs règles de qualité des données pour la surveillance et les alertes. Vous devez associer chaque règle de qualité des données à une dimension. Dataplex accepte les dimensions suivantes:

• Actualisation
• Volume
• Exhaustivité
• Validité
• Cohérence
• Justesse
• Unicité

Saisie dans les règles

Tous les paramètres de valeur sont transmis sous forme de valeurs de chaîne à l'API. Dataplex nécessite que les entrées respectent le format spécifié par BigQuery.

Les paramètres de type binaire peuvent être transmis sous forme de chaîne encodée en base64.

Type	Formats compatibles	Examples
Binaire	Valeur encodée en base64	YXBwbGU=
Code temporel	AAAA-[M]M-[J]J[( |T)[H]H:[M]M:[S]S[.F]] [zone_heure] OU AAAA-[M]M-[J]J[( |T)[H]H:[M]M:[S]S[.F]][time_zone_offset]	27-09-2014 12:30:00.45-08
Date	AAAA-M[M]-J[J]	2014-09-27
Temps	[H]H:[M]M:[S]S[.DDDDDD]	12:30:00,45
DateTime	AAAA-[M]M-[J]J [[H]H:[M]M:[S]S[.DDDDDD]]	27-09-2014 12:30:00.45

Paramètre de référence des données

Lorsque vous créez une règle SQL personnalisée, vous pouvez faire référence à une table de source de données et à l'ensemble de ses filtres de condition préalable en utilisant le paramètre de référence de données ${data()} dans la règle, au lieu de mentionner explicitement la table source et ses filtres. Dataplex interprète le paramètre comme une référence à la table source et à ses filtres. Les filtres de ligne, les pourcentages d'échantillonnage et les filtres incrémentiels sont des exemples de filtres de condition préalable.

Par exemple, supposons que vous ayez une table de source de données appelée my_project_id.dim_dataset.dim_currency. Vous souhaitez exécuter une analyse incrémentielle de la qualité des données qui n'analyse que les nouvelles données quotidiennes. Un filtre de ligne qui filtre les entrées du jour, transaction_timestamp >= current_date(), est appliqué à la table.

Voici à quoi ressemble une règle SQL personnalisée permettant de rechercher les lignes contenant discount_pct pour aujourd'hui:

discount_pct IN (SELECT discount_pct FROM my_project_id.dim_dataset.dim_currency WHERE transaction_timestamp >= current_date())

Si vous utilisez le paramètre de référence de données, vous pouvez simplifier la règle. Remplacez la mention de la table et ses filtres de condition préalable par le paramètre ${data()}:

discount_pct IN (SELECT discount_pct FROM ${data()})

Dataplex interprète le paramètre ${data()} comme une référence à la table de source de données avec les entrées du jour, my_project_id.dim_dataset.dim_currency WHERE transaction_timestamp >= current_date(). Dans cet exemple, le paramètre de référence de données ne fait référence qu'aux données incrémentielles.

Le paramètre ${data()} est sensible à la casse.

Lorsque vous utilisez un alias dans une sous-requête pour faire référence à des colonnes de la table source, vous pouvez soit utiliser le paramètre de référence de données pour faire référence à la table source, soit omettre la référence à la table. Ne faites pas référence aux colonnes de la table source en utilisant une référence de table directe dans la clause WHERE.

Recommandations :

• Utilisez le paramètre de référence de données pour faire référence à la table source:

  discount_pct IN (
  SELECT discount_pct FROM
  `my_project_id.dim_dataset.dim_currency` AS temp-table
  WHERE
  temp-table.transaction_timestamp = ${data()}.timestamp
  )
  

• Omettez la référence de la table:

  discount_pct IN (
  SELECT discount_pct FROM
  `my_project_id.dim_dataset.dim_currency` AS temp-table
  WHERE
  temp-table.transaction_timestamp = timestamp
  )
  

Option déconseillée :

• N'utilisez pas de référence directe à un tableau pour faire référence à des colonnes de la table source:

  discount_pct IN (
  SELECT discount_pct FROM
  `my_project_id.dim_dataset.dim_currency` AS temp-table
  WHERE
  temp-table.transaction_timestamp = `my_project_id.dim_dataset.dim_currency`.timestamp
  )
  

Exécution de la règle

Vous pouvez planifier l'exécution des analyses de la qualité des données à un intervalle spécifique ou les exécuter à la demande. Pour gérer les analyses de la qualité des données, vous pouvez utiliser l'API ou la console Google Cloud.

Lorsque vous exécutez une analyse de la qualité des données, Dataplex crée un job. Dans le cadre de la spécification d'une analyse de la qualité des données, vous pouvez spécifier le champ d'application d'une tâche comme suit:

Table complète

Chaque job valide l'intégralité de la table.

Incrémentielle

Chaque job valide les données incrémentielles. Pour déterminer les incréments, fournissez une colonne Date / Timestamp dans la table qui peut être utilisée comme repère. En règle générale, il s'agit de la colonne par laquelle la table est partitionnée.

Filtrer les données

Dataplex peut filtrer les données à analyser pour en vérifier la qualité à l'aide d'un filtre de ligne. La création d'un filtre de ligne vous permet de vous concentrer sur les données d'une période ou d'un segment spécifique, comme une région spécifique. L'utilisation de filtres peut réduire le temps d'exécution et le coût, par exemple en filtrant les données avec un horodatage antérieur à une certaine date.

Exemples de données

Dataplex vous permet de spécifier un pourcentage d'enregistrements de vos données à échantillonner pour exécuter une analyse de la qualité des données. En créant des analyses de la qualité des données sur un petit échantillon de données, vous pouvez réduire le temps d'exécution et les coûts liés à l'interrogation de l'ensemble de données complet.

Résultats de l'analyse de la qualité des données

Les résultats de vos analyses de la qualité des données sont disponibles dans Dataplex. Vous pouvez également examiner et analyser les résultats de l'analyse à l'aide des méthodes suivantes:

• Exporter les résultats vers BigQuery

  Vous pouvez exporter les résultats d'analyse vers une table BigQuery pour une analyse plus approfondie. Pour personnaliser les rapports, connectez les données de la table BigQuery à un tableau de bord Looker. Vous pouvez créer un rapport agrégé en utilisant la même table de résultats pour plusieurs analyses.

• Publier les résultats dans la console Google Cloud

  Vous pouvez publier les résultats de l'analyse de la qualité des données sur les pages BigQuery et Data Catalog de la table source dans la console Google Cloud. Les derniers résultats de l'analyse sont disponibles dans l'onglet Qualité des données de la table source.

• Consulter les niveaux de qualité des données

  Chaque résultat d'analyse fournit des scores de qualité des données qui indiquent le pourcentage de règles ayant réussi. Les scores sont indiqués au niveau global de la tâche, au niveau de la colonne (si la règle est évaluée par rapport à une colonne) et au niveau de la dimension. Utilisez les niveaux de qualité des données pour normaliser la qualité des données dans les tables ou les colonnes, suivre les tendances et identifier les données qui ne répondent pas aux exigences de qualité.

Pour en savoir plus, consultez Afficher les résultats de l'analyse de la qualité des données.

Surveillance et alertes

Vous pouvez surveiller les analyses de la qualité des données et recevoir des alertes à l'aide des méthodes suivantes:

• Définir des alertes dans Cloud Logging

  Vous pouvez surveiller les jobs liés à la qualité des données à l'aide des journaux data_scan et data_quality_scan_rule_result de l'explorateur de journaux.

  Pour chaque job d'évaluation de la qualité des données, le journal data_scan avec le champ data_scan_type défini sur DATA_QUALITY contient les informations suivantes:

  • Source de données utilisée pour l'analyse des données.
  • Détails d'exécution du job, tels que l'heure de création, l'heure de début, l'heure de fin et l'état de la tâche.
  • Résultat du job d'évaluation de la qualité des données: réussi ou échec.
  • Réussite ou échec au niveau de la dimension

  Chaque tâche ayant réussi contient un journal data_quality_scan_rule_result contenant les informations détaillées suivantes sur chaque règle de cette tâche:

  • Les informations de configuration, telles que le nom de la règle, son type, le type d'évaluation et la dimension.
  • Informations sur les résultats, telles que les réussites ou les échecs, le nombre total de lignes, le nombre de lignes de transmission, le nombre de lignes nulles et le nombre de lignes évalué.

  Les informations contenues dans les journaux sont disponibles via l'API et la console Google Cloud. Vous pouvez utiliser ces informations pour configurer des alertes. Pour en savoir plus, consultez la page Définir des alertes dans Logging.

  Remarque :Pour le dernier job réussi, ces informations sont également disponibles dans l'analyse parente de la qualité des données.

• Envoyer des notifications par e-mail

  Vous pouvez envoyer des notifications par e-mail pour alerter les utilisateurs sur l'état et les résultats d'un job d'évaluation de la qualité des données. Des notifications sont disponibles pour les scénarios suivants:

  • Le niveau de qualité des données est inférieur au niveau cible spécifié
  • Échec du job
  • La tâche est terminée

  Vous configurez les notifications lorsque vous créez une analyse de la qualité des données.

Résoudre les problèmes de qualité des données

Lorsqu'une règle échoue, Dataplex génère une requête pour récupérer les enregistrements ayant échoué. Exécutez cette requête pour afficher les enregistrements qui ne correspondaient pas à votre règle. Pour en savoir plus, consultez la section Résoudre un problème de qualité des données.

Limites

• Les résultats de l'analyse de la qualité des données ne sont pas publiés dans Data Catalog en tant que tags.
• Les recommandations de règles ne sont pas disponibles dans la gcloud CLI.
• Les dimensions choisies sont définies sur l'une des sept dimensions prédéfinies.
• Le nombre de règles par analyse de la qualité des données est limité à 1 000.
• Les notifications par e-mail ne sont disponibles que dans gcloud CLI et l'API.
• Les niveaux de qualité des données indiqués au niveau des colonnes ne sont acceptés que dans l'API.

Tarification

• Dataplex utilise le SKU de traitement Premium pour facturer la qualité des données automatique. Pour en savoir plus, consultez les tarifs Dataplex.

• La publication des résultats d'évaluation automatique de la qualité des données dans Catalog n'est pas encore disponible. Lorsqu'elle sera disponible, elle sera facturée au même tarif que le stockage des métadonnées du catalogue. Reportez-vous à la page Tarifs pour en savoir plus.

• Le traitement Premium de Dataplex pour la qualité automatique des données est facturé à la seconde avec une durée minimale d'une minute.

• Aucuns frais ne sont facturés en cas d'échec des analyses de la qualité des données.

• Les frais dépendent du nombre de lignes, du nombre de colonnes, de la quantité de données que vous avez analysées, de la configuration de la règle de qualité des données, des paramètres de partitionnement et de clustering de la table, ainsi que de la fréquence de l'analyse gscan.

• Il existe plusieurs options pour réduire le coût des analyses automatiques de la qualité des données:

  • Échantillonnage
  • Analyses incrémentielles

• Séparez les frais liés à la qualité des données des autres frais dans le SKU de traitement premium Dataplex. Pour ce faire, utilisez l'étiquette goog-dataplex-workload-type avec la valeur DATA_QUALITY.

• Filtrez les frais cumulés. Utilisez les étiquettes suivantes:

  • goog-dataplex-datascan-data-source-dataplex-entity
  • goog-dataplex-datascan-data-source-dataplex-lake
  • goog-dataplex-datascan-data-source-dataplex-zone
  • goog-dataplex-datascan-data-source-project
  • goog-dataplex-datascan-data-source-region
  • goog-dataplex-datascan-id
  • goog-dataplex-datascan-job-id

Étape suivante

• Découvrez comment utiliser la qualité des données automatique.
• En savoir plus sur le profilage de données
• Découvrez comment utiliser le profilage des données.