Utiliser la qualité automatique des données

Cette page explique comment créer une analyse de la qualité des données Dataplex.

Pour en savoir plus sur les analyses de la qualité des données, consultez À propos de la qualité automatique des données.

Avant de commencer

1. Activez l'API Dataplex.

   Activer l'API

2. Facultatif: Si vous souhaitez que Dataplex génère des recommandations pour les règles de qualité des données en fonction des résultats d'une analyse de profilage des données, créez et exécutez l'analyse de profilage des données.

Autorisations

• Pour exécuter une analyse de la qualité des données sur une table BigQuery, vous devez être autorisé à lire la table BigQuery et à créer une tâche BigQuery dans le projet utilisé pour analyser la table.

  Remarque :Dataplex ne crée pas de tâche BigQuery dans votre projet. Toutefois, vous avez besoin de cette autorisation pour créer une tâche DryRun afin de vérifier les autorisations pour la table.

• Si la table BigQuery et l'analyse de la qualité des données se trouvent dans des projets différents, vous devez accorder au compte de service Dataplex du projet contenant l'analyse de la qualité des données une autorisation de lecture pour la table BigQuery correspondante.

  Remarque :Si vous n'avez pas encore créé d'analyse de la qualité des données ou de profil de données, ou si vous n'avez pas de lac Dataplex dans ce projet, créez un identifiant de service en exécutant la commande suivante : gcloud beta services identity create --service=dataplex.googleapis.com. Cette commande renvoie un identifiant de service Dataplex s'il existe.

• Si les règles de qualité des données font référence à des tables supplémentaires, le compte de service du projet d'analyse doit disposer d'autorisations de lecture sur les mêmes tables.

• Pour obtenir les autorisations nécessaires pour exporter les résultats de l'analyse vers une table BigQuery, demandez à votre administrateur d'accorder au compte de service Dataplex le rôle IAM "Éditeur de données BigQuery" (roles/bigquery.dataEditor) sur l'ensemble de données et la table de résultats. Fournit les autorisations suivantes:

  • bigquery.datasets.get
  • bigquery.tables.create
  • bigquery.tables.get
  • bigquery.tables.getData
  • bigquery.tables.update
  • bigquery.tables.updateData

• Si les données BigQuery sont organisées dans un lac Dataplex, attribuez au compte de service Dataplex les rôles roles/dataplex.metadataReader et roles/dataplex.viewer. Vous devez également disposer de toutes les autorisations suivantes:

  • dataplex.lakes.list
  • dataplex.lakes.get
  • dataplex.zones.list
  • dataplex.zones.get
  • dataplex.entities.list
  • dataplex.entities.get
  • dataplex.operations.get

• Si vous analysez une table externe BigQuery à partir de Cloud Storage, accordez au compte de service Dataplex le rôle roles/storage.objectViewer Cloud Storage pour le bucket. Vous pouvez également attribuer au compte de service Dataplex les autorisations suivantes:

  • storage.buckets.get
  • storage.objects.get

• Si vous souhaitez publier les résultats de l'analyse de la qualité des données sur les pages BigQuery et Data Catalog pour les tables sources dans la console Google Cloud, vous devez disposer du rôle IAM "Éditeur de données BigQuery" (roles/bigquery.dataEditor) ou de l'autorisation bigquery.tables.update pour la table.

• Si vous devez accéder à des colonnes protégées par les règles d'accès BigQuery au niveau des colonnes, accordez des autorisations au compte de service Dataplex pour ces colonnes. L'utilisateur qui crée ou met à jour une analyse de données a également besoin d'autorisations pour les colonnes.

• Si des règles d'accès BigQuery au niveau des lignes sont activées pour une table, vous ne pouvez analyser que les lignes visibles par le compte de service Dataplex. Notez que les règles au niveau des lignes ne tiennent pas compte des droits d'accès d'un utilisateur donné.

Autorisations et rôles pour l'analyse des données

Pour utiliser la qualité automatique des données, vous devez disposer des autorisations permettant d'exécuter des analyses de données ou d'un rôle disposant d'autorisations prédéfinies pour exécuter des analyses de données.

Le tableau suivant répertorie les autorisations DataScan:

Nom de l'autorisation	Accorde l'autorisation d'effectuer les opérations suivantes:
dataplex.datascans.create	Créer un objet DataScan
dataplex.datascans.delete	Supprimer un objet DataScan
dataplex.datascans.get	Afficher les métadonnées opérationnelles telles que l'ID ou la programmation, mais pas les résultats ni les règles
dataplex.datascans.getData	Afficher les détails de DataScan, y compris les règles et les résultats
dataplex.datascans.list	Répertorier les DataScan
dataplex.datascans.run	Exécuter une DataScan
dataplex.datascans.update	Mettre à jour la description d'un DataScan
dataplex.datascans.getIamPolicy	Afficher les autorisations IAM actuelles sur l'analyse
dataplex.datascans.setIamPolicy	Définir des autorisations IAM sur l'analyse

Attribuez aux utilisateurs un ou plusieurs des rôles suivants:

• roles/dataplex.dataScanAdmin: accès complet aux ressources DataScan.
• roles/dataplex.dataScanEditor: accès en écriture aux ressources DataScan.
• roles/dataplex.dataScanViewer: accès en lecture aux ressources DataScan, à l'exclusion des règles et des résultats.
• roles/dataplex.dataScanDataViewer: accès en lecture aux ressources DataScan, y compris aux règles et aux résultats.

Définir des règles de qualité des données

Vous pouvez définir des règles de qualité des données à l'aide de règles intégrées ou de vérifications SQL personnalisées. Si vous utilisez la Google Cloud CLI, vous pouvez définir ces règles dans un fichier JSON ou YAML.

Les exemples des sections suivantes montrent comment définir diverses règles de qualité des données. Les règles valident un exemple de table contenant des données sur les transactions des clients. Supposons que la table présente le schéma suivant:

Nom de colonne	Type de colonne	Description de la colonne
transaction_timestamp	Code temporel	Horodatage de la transaction. La table est partitionnée en fonction de ce champ.
customer_id	Chaîne	Un numéro client au format de 8 lettres suivies de 16 chiffres
transaction_id	Chaîne	L'ID de transaction doit être unique dans le tableau.
currency_id	Chaîne	L'une des devises acceptées.Le type de devise doit correspondre à l'une des devises disponibles dans le tableau de dimensions dim_currency.
amount	float	Montant de la transaction.
discount_pct	float	Pourcentage de remise. Cette valeur doit être comprise entre 0 et 100.

Définir des règles de qualité des données à l'aide des types de règles intégrés

Les exemples de règles suivants sont basés sur des types de règles intégrés. Vous pouvez créer des règles basées sur des types de règles intégrés à l'aide de la console Google Cloud ou de l'API. Dataplex peut recommander certaines de ces règles.

Nom de la colonne	Type de règle	Dimension suggérée	Paramètres de la règle
transaction_id	Vérification de l'originalité	Unicité	"Threshold" (Seuil) : Not Applicable
amount	Vérification des valeurs nulles	Exhaustivité	"Threshold" (Seuil) : 100%
customer_id	Vérification des expressions régulières	Validité	Expression régulière: ^[0-9]{8}[a-zA-Z]{16}$ Seuil: 100%
currency_id	Vérification de la définition de valeurs	Validité	Ensemble de: USD,JPY,INR,GBP,CAN Seuil: 100%

Définir des règles de qualité des données à l'aide de règles SQL personnalisées

Pour créer des règles SQL personnalisées, utilisez le framework suivant:

• Lorsque vous créez une règle qui évalue une ligne à la fois, créez une expression qui génère le nombre de lignes réussies lorsque Dataplex évalue la requête SELECT COUNTIF(CUSTOM_SQL_EXPRESSION) FROM TABLE. Dataplex vérifie le nombre de lignes réussies par rapport au seuil.

• Lorsque vous créez une règle qui effectue une évaluation sur toutes les lignes ou qui utilise une condition de table, créez une expression qui renvoie la réussite ou l'échec lorsque Dataplex évalue la requête SELECT IF(CUSTOM_SQL_EXPRESSION) FROM TABLE.

• Lorsque vous créez une règle qui évalue l'état non valide d'un ensemble de données, fournissez une instruction qui renvoie des lignes non valides. Si des lignes sont renvoyées, la règle échoue. Omettez le point-virgule de fin de l'instruction SQL.

• Vous pouvez faire référence à une table de source de données et à l'ensemble de ses filtres de condition préalable en utilisant le paramètre de référence de données ${data()} dans une règle, au lieu de mentionner explicitement la table source et ses filtres. Les filtres de ligne, les pourcentages d'échantillonnage et les filtres incrémentiels sont des exemples de filtres de condition préalable. Le paramètre ${data()} est sensible à la casse.

Les exemples de règles suivants sont basés sur des règles SQL personnalisées.

Type de règle	Description de la règle	Expression SQL
Condition de ligne	Vérifie si la valeur de discount_pct est comprise entre 0 et 100.	0 < discount_pct ET discount_pct < 100
Condition de ligne	Vérification de la référence pour s'assurer que currency_id est l'une des devises acceptées.	currency_id in (select id from my_project_id.dim_dataset.dim_currency)
Condition de table	Expression SQL d'agrégation qui vérifie si la discount_pct moyenne est comprise entre 30% et 50 %	30<avg(discount) AND avg(discount) <50
Condition de ligne	Vérifie si une date n'est pas située dans le futur.	TIMESTAMP(transaction_timestamp) < CURRENT_TIMESTAMP()
Condition de table	Une fonction définie par lUDF#39;utilisateur BigQuery pour vérifier que le montant moyen des transactions est inférieur à une valeur prédéfinie par pays. Créez la UDF (JavaScript) en exécutant la commande suivante : CREATE OR REPLACE FUNCTION myProject.myDataset.average_by_country ( country STRING, average FLOAT64) RETURNS BOOL LANGUAGE js AS R""" if (country = "CAN" && average < 5000){ return 1 } else if (country = "IND" && average < 1000){ return 1 } else { return 0 } """;	Exemple de règle permettant de vérifier le montant moyen des transactions pour country=CAN myProject.myDataset.average_by_country( "CAN", (SELECT avg(amount) FROM myProject.myDataset.transactions_table WHERE currency_id = 'CAN' ))
Condition de table	Une clause de prédiction BigQuery ML permettant d'identifier les anomalies dans discount_pct Il vérifie si une remise doit être appliquée en fonction des éléments customer, currency et transaction. La règle vérifie si la prédiction correspond à la valeur réelle, au moins 99% du temps. Hypothèse: le modèle de ML est créé avant d'utiliser la règle. Créez le modèle de ML à l'aide de la commande suivante : CREATE MODEL model-project-id.dataset-id.model-name OPTIONS(model_type='logistic_reg') AS SELECT IF(discount_pct IS NULL, 0, 1) AS label, IFNULL(customer_id, "") AS customer, IFNULL(currency_id, "") AS currency, IFNULL(amount, 0.0) AS amount FROM `data-project-id.dataset-id.table-names` WHERE transaction_timestamp < '2022-01-01';	La règle suivante vérifie si la précision de la prédiction est supérieure à 99%. SELECT accuracy > 0.99 FROM ML.EVALUATE (MODEL model-project-id.dataset-id.model-name, ( SELECT customer_id, currency_id, amount, discount_pct FROM data-project-id.dataset-id.table-names WHERE transaction_timestamp > '2022-01-01'; ) )
Condition de ligne	Une fonction de prédiction BigQuery ML permet d'identifier les anomalies dans discount_pct. La fonction vérifie si une remise doit être appliquée en fonction des paramètres customer, currency et transaction. La règle identifie toutes les occurrences pour lesquelles la prédiction ne correspondait pas. Hypothèse: le modèle de ML est créé avant d'utiliser la règle. Créez le modèle de ML à l'aide de la commande suivante : CREATE MODEL model-project-id.dataset-id.model-name OPTIONS(model_type='logistic_reg') AS SELECT IF(discount_pct IS NULL, 0, 1) AS label, IFNULL(customer_id, "") AS customer, IFNULL(currency_id, "") AS currency, IFNULL(amount, 0.0) AS amount FROM `data-project-id.dataset-id.table-names` WHERE transaction_timestamp < '2022-01-01';	La règle suivante vérifie si la prédiction de remise correspond à la valeur réelle pour chaque ligne. IF(discount_pct > 0, 1, 0) =(SELECT predicted_label FROM ML.PREDICT( MODEL model-project-id.dataset-id.model-name, ( SELECT customer_id, currency_id, amount, discount_pct FROM data-project-id.dataset-id.table-names AS t WHERE t.transaction_timestamp = transaction_timestamp LIMIT 1 ) ) )
Assertion SQL	Vérifie si discount_pct est supérieur à 30% pour aujourd'hui en vérifiant s'il existe des lignes avec un pourcentage de remise inférieur ou égal à 30.	SELECT * FROM my_project_id.dim_dataset.dim_currency WHERE discount_pct <= 30 AND transaction_timestamp >= current_date()
Assertion SQL (avec un paramètre de référence de données)	Vérifie si la valeur de discount_pct est supérieure à 30% pour toutes les devises acceptées aujourd'hui. Le filtre de date transaction_timestamp >= current_date() est appliqué en tant que filtre de ligne dans le tableau de source de données. Le paramètre de référence de données ${data()} sert d'espace réservé pour my_project_id.dim_dataset.dim_currency WHERE transaction_timestamp >= current_date() et applique le filtre de ligne.	SELECT * FROM ${data()} WHERE discount_pct > 30

Définir des règles de qualité des données à l'aide de la gcloud CLI

L'exemple de fichier YAML suivant utilise certaines des mêmes règles que les exemples de règles utilisant des types intégrés et les exemples de règles SQL personnalisées. Vous pouvez utiliser ce fichier YAML comme entrée pour la commande de gcloud CLI.

rules:
- uniquenessExpectation: {}
  column: transaction_id
  dimension: UNIQUENESS
- nonNullExpectation: {}
  column: amount
  dimension: COMPLETENESS
  threshold: 1
- regexExpectation:
    regex: '^[0-9]{8}[a-zA-Z]{16}$'
  column : customer_id
  ignoreNull : true
  dimension : VALIDITY
  threshold : 1
- setExpectation :
    values :
    - 'USD'
    - 'JPY'
    - 'INR'
    - 'GBP'
    - 'CAN'
  column : currency_id
  ignoreNull : true
  dimension : VALIDITY
  threshold : 1
- rangeExpectation:
    minValue : '0'
    maxValue : '100'
  column : discount_pct
  ignoreNull : true
  dimension : VALIDITY
  threshold : 1
- rowConditionExpectation:
    sqlExpression : 0 < `discount_pct` AND `discount_pct` < 100
  column: discount_pct
  dimension: VALIDITY
  threshold: 1
- rowConditionExpectation:
    sqlExpression : currency_id in (select id from `my_project_id.dim_dataset.dim_currency`)
  column: currency_id
  dimension: VALIDITY
  threshold: 1
- tableConditionExpectation:
    sqlExpression : 30 < avg(discount_pct) AND avg(discount_pct) < 50
  dimension: VALIDITY
- rowConditionExpectation:
    sqlExpression : TIMESTAMP(transaction_timestamp) < CURRENT_TIMESTAMP()
  column: transaction_timestamp
  dimension: VALIDITY
  threshold: 1
- sqlAssertion:
    sqlStatement : SELECT * FROM `my_project_id.dim_dataset.dim_currency` WHERE discount_pct > 100
  dimension: VALIDITY

Créer une analyse de qualité des données

Console

1. Dans la console Google Cloud, accédez à la page Qualité des données.

   Accéder à la page Qualité des données

2. Cliquez sur Créer une analyse de la qualité des données.

3. Dans la fenêtre Define scan (Définir une analyse), renseignez les champs suivants:

   1. Saisissez un nom dans le champ Nom à afficher.

   2. Si vous ne fournissez pas votre propre ID, l'ID d'analyse est généré automatiquement. Consultez la convention d'attribution de noms des ressources.

   3. Facultatif : saisissez une Description.

   4. Dans le champ Table, cliquez sur Parcourir, choisissez votre table, puis cliquez sur Sélectionner. Dataplex n'est compatible qu'avec les tables BigQuery standards.

      Pour les tables des ensembles de données multirégionaux, choisissez la région dans laquelle créer l'analyse de données.

      Pour parcourir les tables organisées dans le lac Dataplex, cliquez sur Parcourir les lacs Dataplex.

   5. Dans le champ Portée, sélectionnez Incrémentiel ou Données complètes.

      • Si vous choisissez Incrémentiel: dans le champ Colonne Horodatage, sélectionnez dans votre table BigQuery une colonne de type DATE ou TIMESTAMP qui augmente de façon linéaire et permet d'identifier de nouveaux enregistrements. Il peut s'agir d'une colonne qui partitionne la table.

   6. (Facultatif) Ajoutez des libellés. Les étiquettes sont des paires key:value qui vous permettent de regrouper des objets associés ou de les combiner à d'autres ressources Google Cloud.

   7. Pour filtrer vos données, cliquez sur Filtres. Cochez la case Filter rows (Filtrer les lignes). La valeur d'entrée du filtre de ligne doit être une expression SQL valide pouvant être utilisée dans une clause WHERE de la syntaxe SQL standard de BigQuery. Exemple :col1 >= 0 Le filtre peut être une combinaison de plusieurs conditions de colonne. Par exemple, col1 >= 0 AND col2 < 10.

   8. Pour échantillonner vos données, sélectionnez un pourcentage d'échantillonnage dans la liste Taille d'échantillonnage. Choisissez une valeur de pourcentage comprise entre 0,0% et 100,0% avec jusqu'à trois chiffres décimaux. Pour les ensembles de données plus volumineux, choisissez un pourcentage d'échantillonnage plus faible. Par exemple, pour une table d'environ 1 Po, si vous saisissez une valeur comprise entre 0,1% et 1%, Dataplex échantillonne entre 1 et 10 To de données. Pour les analyses incrémentielles de données, Dataplex applique un échantillonnage à l'incrément le plus récent.

   9. Pour publier les résultats de l'analyse de la qualité des données sur les pages BigQuery et Data Catalog de la console Google Cloud pour la table source, cochez la case Publier les résultats dans l'interface utilisateur de BigQuery et de Dataplex Catalog. Vous pouvez afficher les derniers résultats d'analyse dans l'onglet Qualité des données des pages BigQuery et Data Catalog de la table source. Pour permettre aux utilisateurs d'accéder aux résultats d'analyse publiés, consultez la section Partager les résultats publiés. L'option de publication peut ne pas être disponible dans les cas suivants:

      • Vous ne disposez pas des autorisations nécessaires pour la table.
      • Une autre analyse de la qualité des données est configurée pour publier les résultats.

      Pour plus d'informations sur les autorisations requises pour afficher les résultats publiés, consultez la section Autorisations.

   10. Cliquez sur Continuer.

4. Dans la fenêtre Programmer, choisissez l'une des options suivantes:

   • Répéter : exécutez la tâche d'analyse de la qualité des données selon un calendrier quotidien, hebdomadaire, mensuel ou personnalisé. Spécifiez la fréquence et l'heure d'exécution de l'analyse. Si vous choisissez "Personnalisé", utilisez le format cron pour spécifier le calendrier.

   • À la demande: exécutez votre job d'analyse de la qualité des données à la demande.

   Cliquez sur Continuer.

5. Dans la fenêtre Règles de qualité des données, définissez les règles à configurer pour cette analyse de la qualité des données. Cliquez sur Ajouter des règles, puis choisissez l'une des options suivantes.

   • Recommandations basées sur le profil: créez des règles à partir des recommandations sur la base d'une analyse de profilage de données existante.

     1. Sélectionner des colonnes: sélectionnez les colonnes pour lesquelles vous souhaitez obtenir des règles recommandées.

     2. Scan project (Projet d'analyse) : recommandations basées sur une analyse de profilage de données existante. Par défaut, Dataplex sélectionne les analyses de profilage du projet dans lequel vous créez l'analyse de la qualité des données. Si vous avez créé l'analyse dans un autre projet, vous devez spécifier le projet à partir duquel extraire les analyses de profil.

     3. Sélectionner les résultats de profil: en fonction des colonnes et du projet que vous sélectionnez, plusieurs résultats de profil s'affichent.

     4. Sélectionnez un ou plusieurs résultats de profil, puis cliquez sur OK. La liste des règles que vous pouvez sélectionner s'affiche.

     5. Sélectionnez les règles à modifier en cochant les cases et en cliquant sur Sélectionner. Une fois sélectionnées, les règles sont ajoutées à votre liste de règles actuelle. Vous pouvez ensuite modifier les règles.

   • Types de règles intégrés: créez des règles à partir de règles prédéfinies. Consultez la liste des règles prédéfinies.

     1. Sélectionner des colonnes: sélectionnez les colonnes pour lesquelles vous souhaitez sélectionner des règles.

     2. Choisissez des types de règles: en fonction des colonnes sélectionnées, plusieurs types de règles s'affichent.

     3. Sélectionnez un ou plusieurs types de règles, puis cliquez sur OK. Une liste de règles à sélectionner s'affiche.

     4. Sélectionnez les règles à modifier en cochant les cases et en cliquant sur Sélectionner. Une fois sélectionnées, les règles sont ajoutées à votre liste de règles actuelle. Vous pouvez ensuite modifier les règles.

   • Règle de vérification des lignes SQL: créez une règle SQL personnalisée à appliquer à chaque ligne (règle SQL personnalisée de vérification des lignes).

     1. Dans Dimension, choisissez une dimension.

     2. Dans Seuil de réussite, choisissez un pourcentage d'enregistrements devant réussir le test.

     3. Dans Nom de la colonne, choisissez une colonne.

     4. Dans le champ Fournir une expression SQL, saisissez une expression SQL qui renvoie une valeur booléenne true (réussite) ou false (échec). Pour en savoir plus, consultez la section Types de règles SQL personnalisées compatibles et les exemples de la section Définir des règles de qualité des données de ce document.

     5. Cliquez sur Ajouter.

   • Règle de vérification d'agrégation SQL: créez une règle de condition de table SQL personnalisée.

     1. Dans Dimension, choisissez une dimension.

     2. Dans Nom de la colonne, choisissez une colonne.

     3. Dans le champ Fournir une expression SQL, saisissez une expression SQL qui renvoie une valeur booléenne true (réussite) ou false (échec). Pour en savoir plus, consultez la section Types de règles SQL personnalisées compatibles et les exemples de la section Définir des règles de qualité des données de ce document.

     4. Cliquez sur Ajouter.

   • Règle d'assertion SQL: créez une règle d'assertion SQL personnalisée pour rechercher un état non valide des données.

     1. Dans Dimension, choisissez une dimension.

     2. (Facultatif) Dans Nom de la colonne, choisissez une colonne.

     3. Dans le champ Fournir une instruction SQL, saisissez une instruction SQL qui renvoie les lignes correspondant à l'état non valide. Si des lignes sont renvoyées, cette règle échoue. Omettez le point-virgule de fin de l'instruction SQL. Pour en savoir plus, consultez la section Types de règles SQL personnalisées compatibles et les exemples de la section Définir des règles de qualité des données de ce document.

     4. Cliquez sur Ajouter.

   Dataplex permet de donner des noms personnalisés aux règles de qualité des données pour la surveillance et les alertes. Vous pouvez éventuellement attribuer un nom et une description aux règles de qualité des données. Pour ce faire, modifiez une règle et spécifiez les informations suivantes:

   • Nom de la règle: saisissez un nom de règle personnalisée comportant jusqu'à 63 caractères. Le nom de la règle peut inclure des lettres (a-z, A-Z), des chiffres (0-9) et des traits d'union (-). Il doit commencer par une lettre et se terminer par un chiffre ou une lettre.
   • Description: saisissez une description de la règle d'une longueur maximale de 1 024 caractères.

   Cliquez sur Continuer.

6. (Facultatif) Exportez les résultats de l'analyse vers une table BigQuery standard. Cliquez sur Parcourir pour sélectionner un ensemble de données BigQuery existant dans lequel stocker les résultats de l'analyse de la qualité des données.

   Si la table spécifiée n'existe pas, Dataplex la crée pour vous. Si vous utilisez une table existante, assurez-vous qu'elle est compatible avec le schéma de table d'exportation.

   Remarque :Vous pouvez partager la même table de résultats pour enregistrer ou exporter les résultats de plusieurs analyses de la qualité des données.

7. Cliquez sur Créer.

   Une fois l'analyse créée, vous pouvez l'exécuter à tout moment en cliquant sur Exécuter.

gcloud

Pour créer une analyse de la qualité des données, utilisez la commande gcloud dataplex datascans create data-quality.

Si les données sources sont organisées dans un lac Dataplex, incluez l'option --data-source-entity:

gcloud dataplex datascans create data-quality DATASCAN \
    --location=LOCATION \
    --data-quality-spec-file=DATA_QUALITY_SPEC_FILE \
    --data-source-entity=DATA_SOURCE_ENTITY

Si les données sources ne sont pas organisées dans un lac Dataplex, incluez l'option --data-source-resource:

gcloud dataplex datascans create data-quality DATASCAN \
    --location=LOCATION \
    --data-quality-spec-file=DATA_QUALITY_SPEC_FILE \
    --data-source-resource=DATA_SOURCE_RESOURCE

Remplacez les variables suivantes :

• DATASCAN: nom de l'analyse de la qualité des données.
• LOCATION: région Google Cloud dans laquelle créer l'analyse de la qualité des données.
• DATA_QUALITY_SPEC_FILE: chemin d'accès au fichier JSON ou YAML contenant les spécifications pour l'analyse de la qualité des données. Il peut s'agir d'un fichier local ou d'un chemin d'accès Cloud Storage avec le préfixe gs://. Utilisez ce fichier pour spécifier les règles de qualité des données pour l'analyse. Vous pouvez également spécifier des détails supplémentaires dans ce fichier, tels que des filtres, un pourcentage d'échantillonnage et des actions post-analyse telles que l'exportation vers BigQuery ou l'envoi de notifications par e-mail. Consultez la documentation sur la représentation JSON.
• DATA_SOURCE_ENTITY: entité Dataplex qui contient les données pour l'analyse de la qualité des données. Exemple : projects/test-project/locations/test-location/lakes/test-lake/zones/test-zone/entities/test-entity.
• DATA_SOURCE_RESOURCE: nom de la ressource contenant les données pour l'analyse de la qualité des données. Exemple : //bigquery.googleapis.com/projects/test-project/datasets/test-dataset/tables/test-table.

REST

Utilisez APIs Explorer pour créer une analyse de la qualité des données.

Si vous souhaitez créer des règles pour l'analyse de la qualité des données à l'aide de recommandations de règles basées sur les résultats d'une analyse de profilage de données, appelez la méthode dataScans.jobs.generateDataQualityRules sur l'analyse pour obtenir ces recommandations.

Remarque :Si votre table BigQuery est configurée avec le filtre "Exiger une partition" défini sur true, utilisez la colonne de partition BigQuery comme filtre de ligne ou d'horodatage pour l'analyse de la qualité des données.

Exporter le schéma de la table

Pour exporter les résultats de l'analyse de la qualité des données vers une table BigQuery existante, assurez-vous qu'elle est compatible avec le schéma de table suivant:

Nom de la colonne	Type de données de la colonne	Nom du sous-champ (le cas échéant)	Type de données du sous-champ	Mode	Exemple
data_quality_scan	struct/record	resource_name	string	pouvant avoir une valeur nulle	//dataplex.googleapis.com/projects/test-project/locations/europe-west2/datascans/test-datascan
		project_id	string	pouvant avoir une valeur nulle	dataplex-back-end-dev-project
		location	string	pouvant avoir une valeur nulle	us-central1
		data_scan_id	string	pouvant avoir une valeur nulle	test-datascan
data_source	struct/record	resource_name	string	pouvant avoir une valeur nulle	Cas de l'entité: //dataplex.googleapis.com/projects/dataplex-back-end-dev-project/locations/europe-west2/lakes/a0-datascan-test-lake/zones/a0-datascan-test-zone/entities/table1 Cas de la table : //bigquery.googleapis.com/projects/test-project/datasets/test-dataset/tables/test-table
		dataplex_entity_project_id	string	pouvant avoir une valeur nulle	dataplex-back-end-dev-project
		dataplex_entity_project_number	integer	pouvant avoir une valeur nulle	123456789
		dataplex_lake_id	string	pouvant avoir une valeur nulle	(Valide uniquement si la source est une entité) test-lake
		dataplex_zone_id	string	pouvant avoir une valeur nulle	(Valide uniquement si la source est une entité) test-zone
		dataplex_entity_id	string	pouvant avoir une valeur nulle	(Valide uniquement si la source est une entité) test-entity
		table_project_id	string	pouvant avoir une valeur nulle	test-project
		table_project_number	integer	pouvant avoir une valeur nulle	987654321
		dataset_id	string	pouvant avoir une valeur nulle	(Valide uniquement si la source est un tableau) test-dataset
		table_id	string	pouvant avoir une valeur nulle	(Valide uniquement si la source est un tableau) test-table
data_quality_job_id	string			pouvant avoir une valeur nulle	caeba234-cfde-4fca-9e5b-fe02a9812e38
data_quality_job_configuration	json	trigger	string	pouvant avoir une valeur nulle	ondemand/schedule
		incremental	boolean	pouvant avoir une valeur nulle	true/false
		sampling_percent	float	pouvant avoir une valeur nulle	(0-100) 20.0 (indique 20%)
		row_filter	string	pouvant avoir une valeur nulle	col1 >= 0 AND col2 < 10
job_labels	json			pouvant avoir une valeur nulle	{"key1":value1}
job_start_time	timestamp			pouvant avoir une valeur nulle	2023-01-01 00:00:00 UTC
job_end_time	timestamp			pouvant avoir une valeur nulle	2023-01-01 00:00:00 UTC
job_rows_scanned	integer			pouvant avoir une valeur nulle	7500
rule_name	string			pouvant avoir une valeur nulle	test-rule
rule_type	string			pouvant avoir une valeur nulle	Range Check
rule_evaluation_type	string			pouvant avoir une valeur nulle	Per row
rule_column	string			pouvant avoir une valeur nulle	Rule only attached to a certain column
rule_dimension	string			pouvant avoir une valeur nulle	UNIQUENESS
job_quality_result	struct/record	passed	boolean	pouvant avoir une valeur nulle	true/false
		score	float	pouvant avoir une valeur nulle	90.8
job_dimension_result	json			pouvant avoir une valeur nulle	{"ACCURACY":{"passed":true,"score":100},"CONSISTENCY":{"passed":false,"score":60}}
rule_threshold_percent	float			pouvant avoir une valeur nulle	(0,0-100,0) Rule-threshold-pct in API * 100
rule_parameters	json			pouvant avoir une valeur nulle	{min: 24, max:5345}
rule_pass	boolean			pouvant avoir une valeur nulle	True
rule_rows_evaluated	integer			pouvant avoir une valeur nulle	7400
rule_rows_passed	integer			pouvant avoir une valeur nulle	3
rule_rows_null	integer			pouvant avoir une valeur nulle	4
rule_failed_records_query	string			pouvant avoir une valeur nulle	"SELECT * FROM `test-project.test-dataset.test-table` WHERE (NOT((`cTime` >= '15:31:38.776361' and `cTime` <= '19:23:53.754823') IS TRUE));"

Lorsque vous configurez BigQueryExport pour une tâche d'analyse de la qualité des données, suivez les instructions suivantes:

• Pour le champ resultsTable, utilisez le format suivant : //bigquery.googleapis.com/projects/{project-id}/datasets/{dataset-id}/tables/{table-id}.
• Utilisez une table BigQuery standard.
• Si la table n'existe pas lors de la création ou de la mise à jour de l'analyse, Dataplex la crée pour vous.
• Par défaut, la table est partitionnée tous les jours en fonction de la colonne job_start_time.
• Si vous souhaitez que la table soit partitionnée selon d'autres configurations ou si vous ne souhaitez pas la partitionner, recréez la table avec le schéma et les configurations requis, puis fournissez la table précréée en tant que table de résultats.
• Assurez-vous que la table des résultats se trouve au même emplacement que la table source.
• Si VPC-SC est configuré sur le projet, la table des résultats doit se trouver dans le même périmètre VPC-SC que la table source.
• Si la table est modifiée lors de la phase d'exécution de l'analyse, la tâche en cours est exportée vers la table de résultats précédente, et la modification de la table est appliquée à la tâche d'analyse suivante.
• Ne modifiez pas le schéma de la table. Si vous avez besoin de colonnes personnalisées, créez une vue sur la table.
• Pour réduire les coûts, définissez un délai d'expiration sur la partition en fonction de votre cas d'utilisation. Pour en savoir plus, découvrez comment définir le délai d'expiration de la partition.

Exécuter une analyse de la qualité des données

Console

1. Dans la console Google Cloud, accédez à la page Qualité des données.

   Accéder à la page Qualité des données

2. Cliquez sur l'analyse de la qualité des données à exécuter.

3. Cliquez sur Exécuter.

gcloud

Pour exécuter une analyse de la qualité des données, utilisez la commande gcloud dataplex datascans run:

gcloud dataplex datascans run DATASCAN \
--location=LOCATION \

Remplacez les variables suivantes :

• LOCATION: région Google Cloud dans laquelle l'analyse de la qualité des données a été créée.
• DATASCAN: nom de l'analyse de la qualité des données.

REST

Utilisez APIs Explorer pour exécuter une analyse de la qualité des données.

Afficher les résultats de l'analyse de la qualité des données

Console

1. Dans la console Google Cloud, accédez à la page Qualité des données.

   Accéder à la page Qualité des données

2. Pour afficher les résultats détaillés d'une analyse, cliquez sur son nom.

   • La section Présentation affiche des informations sur les sept derniers jobs, y compris la date d'exécution de l'analyse, le nombre d'enregistrements analysés dans chaque tâche, la réussite de tous les contrôles de qualité des données, le cas échéant, le nombre de contrôles de qualité des données ayant échoué et les dimensions ayant échoué.

   • La section Configuration de l'analyse de la qualité des données affiche les détails de l'analyse.

3. Pour afficher les niveaux de qualité des données qui indiquent le pourcentage de règles validées, cliquez sur l'onglet Jobs history (Historique des tâches). Cliquez ensuite sur un ID de tâche.

Remarque :Si vous avez exporté les résultats d'analyse vers une table BigQuery, vous pouvez également accéder aux résultats de l'analyse à partir de la table. Les niveaux de qualité des données sont disponibles si vous avez publié les résultats de l'analyse sur les pages BigQuery et Data Catalog dans la console Google Cloud. Pour en savoir plus, consultez la page Surveiller la qualité des données à l'aide d'analyses dans la documentation BigQuery.

gcloud

Pour afficher les résultats d'une tâche d'analyse de la qualité des données, utilisez la commande gcloud dataplex datascans jobs describe:

gcloud dataplex datascans jobs describe JOB \
--location=LOCATION \
--datascan=DATASCAN \
--view=FULL

Remplacez les variables suivantes :

• JOB: ID de la tâche d'analyse de la qualité des données.
• LOCATION: région Google Cloud dans laquelle l'analyse de la qualité des données a été créée.
• DATASCAN: nom de l'analyse de la qualité des données à laquelle appartient la tâche.
• --view=FULL: pour afficher le résultat de la tâche d'analyse, spécifiez FULL.

REST

Utilisez APIs Explorer pour afficher les résultats d'une analyse de la qualité des données.

Afficher l'historique des résultats d'analyse

Dataplex enregistre l'historique d'analyse de la qualité des données des 300 derniers jobs ou de l'année passée, selon la première échéance atteinte.

Console

1. Dans la console Google Cloud, accédez à la page Qualité des données.

   Accéder à la page Qualité des données

2. Cliquez sur le nom d'une analyse.

3. Cliquez sur l'onglet Historique des jobs.

   L'onglet Jobs history (Historique des jobs) fournit des informations sur les jobs antérieurs. Il répertorie toutes les tâches, le nombre d'enregistrements analysés dans chaque tâche, l'état de la tâche, l'heure d'exécution de la tâche, la réussite ou l'échec de chaque règle, etc.

4. Pour afficher des informations détaillées sur une tâche, cliquez sur l'une des tâches dans la colonne ID de tâche.

gcloud

Pour afficher toutes les tâches d'une analyse de la qualité des données, utilisez la commande gcloud dataplex datascans jobs list:

gcloud dataplex datascans jobs list \
--location=LOCATION \
--datascan=DATASCAN \

Remplacez les variables suivantes :

• LOCATION: région Google Cloud dans laquelle l'analyse de la qualité des données a été créée.
• DATASCAN: nom de l'analyse de la qualité des données pour laquelle afficher toutes les tâches.

REST

Utilisez APIs Explorer pour afficher toutes les tâches d'analyse.

Partager les résultats publiés

Lors de la création d'une analyse de la qualité des données, si vous avez choisi de publier les résultats de l'analyse sur les pages BigQuery et Data Catalog de la console Google Cloud, les résultats les plus récents sont disponibles dans l'onglet Qualité des données de ces pages.

Vous pouvez autoriser les utilisateurs de votre organisation à accéder aux résultats d'analyse publiés. Pour accorder l'accès aux résultats de l'analyse, procédez comme suit:

1. Dans la console Google Cloud, accédez à la page Qualité des données.

   Accéder à la page Qualité des données

2. Cliquez sur l'analyse de la qualité des données dont vous souhaitez partager les résultats.

3. Accédez à l'onglet Autorisations.

4. Cliquez sur Accorder l'accès.

5. Dans le champ Nouveaux comptes principaux, ajoutez le compte principal auquel vous souhaitez accorder l'accès.

6. Dans le champ Sélectionnez un rôle, choisissez Lecteur de données Dataplex DataScan.

7. Cliquez sur Enregistrer.

Pour supprimer l'accès d'un compte principal aux résultats d'analyse publiés, procédez comme suit:

1. Dans la console Google Cloud, accédez à la page Qualité des données.

   Accéder à la page Qualité des données

2. Cliquez sur l'analyse de la qualité des données dont vous souhaitez partager les résultats.

3. Accédez à l'onglet Autorisations.

4. Sélectionnez le compte principal pour lequel vous souhaitez supprimer le rôle Dataplex DataScan DataViewer.

5. Cliquez sur Supprimer l'accès.

6. Cliquez sur Confirmer.

Définir des alertes dans Cloud Logging

Pour définir des alertes pour les échecs de qualité des données à l'aide des journaux de Cloud Logging, procédez comme suit:

Console

1. Dans la console Google Cloud, accédez à l'explorateur de journaux de Cloud Logging.

   Accéder à l'explorateur de journaux

2. Dans la fenêtre Requête, saisissez votre requête. Consultez des exemples de requêtes.

3. Cliquez sur Exécuter la requête.

4. Cliquez sur Créer une alerte. Un panneau latéral s'ouvre.

5. Saisissez le nom de votre règle d'alerte, puis cliquez sur Suivant.

6. Examinez la requête.

   1. Cliquez sur le bouton Prévisualiser les journaux pour tester votre requête. Cela permet d'afficher les journaux avec des conditions correspondantes.

   2. Cliquez sur Suivant.

7. Définissez le délai entre les notifications, puis cliquez sur Suivant.

8. Définissez les personnes à avertir, puis cliquez sur Enregistrer pour créer la règle d'alerte.

Vous pouvez également configurer et modifier vos alertes en accédant à Monitoring > Alertes dans la console Google Cloud.

gcloud

Non compatible.

REST

Utilisez APIs Explorer pour définir des alertes dans Cloud Logging.

Exemples de requêtes permettant de définir des alertes au niveau d'un job ou d'une dimension

• Voici un exemple de requête permettant de définir des alertes sur les échecs globaux liés à la qualité des données lors d'une analyse de la qualité des données:

  resource.type="dataplex.googleapis.com/DataScan"
  AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
  AND resource.labels.resource_container="projects/112233445566"
  AND resource.labels.datascan_id="a0-test-dec6-dq-3"
  AND NOT jsonPayload.dataQuality.passed=true
  

• Voici un exemple de requête permettant de définir des alertes sur les échecs de qualité des données pour une dimension (par exemple, unicité) d'une analyse de la qualité des données:

  resource.type="dataplex.googleapis.com/DataScan"
  AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
  AND resource.labels.resource_container="projects/112233445566"
  AND resource.labels.datascan_id="a0-test-dec6-dq-3"
  AND jsonPayload.dataQuality.dimensionPassed.UNIQUENESS=false
  

• Exemple de requête permettant de définir des alertes sur les échecs liés à la qualité des données d'une table.

  • Définissez des alertes en cas d'échec de qualité des données pour une table BigQuery qui n'est pas organisée dans un lac Dataplex:

    resource.type="dataplex.googleapis.com/DataScan"
    AND jsonPayload.dataSource="//bigquery.googleapis.com/projects/test-project/datasets/testdataset/table/chicago_taxi_trips"
    AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
    AND resource.labels.resource_container="projects/112233445566"
    AND NOT jsonPayload.dataQuality.passed=true
    

  • Définissez des alertes sur les échecs de qualité des données pour une table BigQuery organisée dans un lac Dataplex:

    resource.type="dataplex.googleapis.com/DataScan"
    AND jsonPayload.dataSource="projects/test-project/datasets/testdataset/table/chicago_taxi_trips"
    AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
    AND resource.labels.resource_container="projects/112233445566"
    AND NOT jsonPayload.dataQuality.passed=true
    

Exemples de requêtes à définir pour des alertes de règle

• Exemple de requête permettant de définir des alertes sur toutes les règles de qualité des données en échec avec le nom de règle personnalisée spécifié pour une analyse de la qualité des données:

  resource.type="dataplex.googleapis.com/DataScan"
  AND jsonPayload.ruleName="custom-name"
  AND jsonPayload.result="FAILED"
  

• Exemple de requête permettant de définir des alertes sur toutes les règles de qualité des données en échec d'un type d'évaluation spécifique pour une analyse de la qualité des données:

  resource.type="dataplex.googleapis.com/DataScan"
  AND jsonPayload.evalutionType="PER_ROW"
  AND jsonPayload.result="FAILED"
  

• Exemple de requête permettant de définir des alertes pour toutes les règles de qualité des données en échec pour une colonne de la table utilisée pour une analyse de la qualité des données:

  resource.type="dataplex.googleapis.com/DataScan"
  AND jsonPayload.column="CInteger"
  AND jsonPayload.result="FAILED"
  

Résoudre un problème de qualité des données

Pour chaque tâche dont les règles au niveau des lignes échouent, Dataplex fournit une requête permettant d'obtenir les enregistrements ayant échoué. Exécutez cette requête pour afficher les enregistrements qui ne correspondaient pas à votre règle.

Remarque :La requête renvoie toutes les colonnes de la table, pas seulement la colonne ayant échoué.

Console

1. Dans la console Google Cloud, accédez à la page Qualité des données.

   Accéder à la page Qualité des données

2. Cliquez sur le nom de l'analyse dont vous souhaitez dépanner les enregistrements.

3. Cliquez sur l'onglet Historique des jobs.

4. Cliquez sur l'ID de la tâche ayant identifié des échecs de qualité des données.

5. Dans la fenêtre de résultats de la tâche qui s'affiche, dans la section Rules (Règles), recherchez la colonne Query to get failed records (Requête pour obtenir les enregistrements ayant échoué). Cliquez sur Copier la requête dans le presse-papiers pour la règle ayant échoué.

6. Exécutez la requête dans BigQuery pour afficher les enregistrements qui ont entraîné l'échec de la tâche.

gcloud

Non compatible.

REST

Utilisez APIs Explorer pour afficher la requête permettant d'obtenir les enregistrements ayant échoué pour les tâches qui ont échoué.

Mettre à jour une analyse de la qualité des données

Console

1. Dans la console Google Cloud, accédez à la page Qualité des données.

   Accéder à la page Qualité des données

2. Sur la ligne correspondant à l'analyse à modifier, cliquez sur les trois points verticaux, puis sur Edit (Modifier).

3. Modifiez les valeurs.

4. Cliquez sur Enregistrer.

gcloud

Pour mettre à jour la description d'une analyse de la qualité des données, utilisez la commande gcloud dataplex datascans update data-quality:

gcloud dataplex datascans update data-quality DATASCAN \
--location=LOCATION \
--description=DESCRIPTION

Remplacez les éléments suivants :

• DATASCAN: nom de l'analyse de la qualité des données à mettre à jour.
• LOCATION: région Google Cloud dans laquelle l'analyse de la qualité des données a été créée.
• DESCRIPTION: nouvelle description de l'analyse de la qualité des données.

Remarque :Vous pouvez mettre à jour les champs de spécification, tels que rules, rowFilter ou samplingPercent, dans le fichier de spécification de qualité des données. Consultez le format JSON.

REST

Utilisez APIs Explorer pour modifier l'analyse de la qualité des données.

Supprimer une analyse de la qualité des données

Console

1. Dans la console Google Cloud, accédez à la page Qualité des données.

   Accéder à la page Qualité des données

2. Cliquez sur l'analyse que vous souhaitez supprimer.

3. Cliquez sur Supprimer.

gcloud

Pour supprimer une analyse de la qualité des données, utilisez la commande gcloud dataplex datascans delete:

gcloud dataplex datascans delete DATASCAN \
--location=LOCATION \
--async

Remplacez les variables suivantes :

• DATASCAN: nom de l'analyse de la qualité des données à supprimer.
• LOCATION: région Google Cloud dans laquelle l'analyse de la qualité des données a été créée.

REST

Utilisez APIs Explorer pour supprimer l'analyse de la qualité des données.

Étape suivante

• En savoir plus sur le profilage de données
• Découvrez comment utiliser le profilage des données.
• Suivez un tutoriel pour savoir comment gérer les règles de qualité des données sous forme de code avec Terraform.