Résoudre les problèmes de lignée de données

Ce document explique comment résoudre les problèmes liés à la traçabilité des données dans Data Catalog.

Types de projets

Les composants de données peuvent se trouver dans différents projets. Vous trouverez ci-dessous un récapitulatif des projets possibles et de leurs noms d'éléments.

Projet de stockage BigQuery

Ce projet stocke vos composants de données BigQuery. Vous le trouverez dans les détails de l'élément, dans Table ID, avant le premier point.

Figure 1. Nom d'un projet de stockage BigQuery.

Projet Compute

Ce projet stocke les métadonnées de traçabilité des données. Pour BigQuery, c'est là que vous exécutez une tâche. Si vous exécutez une tâche à l'aide de la console Google Cloud, vous pouvez trouver le nom du projet de calcul dans le sélecteur de projet:

Figure 2. Nom d'un projet de calcul qui exécute des jobs BigQuery.

Lorsque vous envoyez des requêtes à l'API BigQuery, spécifiez le projet de calcul dans l'URL, par exemple:

POST /bigquery/v2/projects/docs-compute/jobs HTTP/1.1
Host: bigquery.googleapis.com
User-Agent: Go-http-client/1.1
Authorization: <REDACTED 1031 BYTES>
Accept-Encoding: gzip
{
  "configuration": {
    "query": {
      "useLegacySql": false,
      "query": "CREATE OR REPLACE TABLE `docs-target.dataset.target-002` AS SELECT * FROM `docs-source.dataset.source-002`;"
    }
  },
  "jobReference": {
    "projectId": "docs-compute",
    "jobId": "docs-compute-job-id",
    "location": "us",
  }
}

Projet actif

Il s'agit du projet à partir duquel vous consultez la traçabilité des données. La console Google Cloud affiche le projet actif dans le sélecteur de projets. Si vous utilisez l'API, le projet actif est celui à partir duquel vous effectuez des appels d'API.

Figure 3 : Projet actif dans la console Google Cloud.

La lignée des données BigQuery ne s'affiche pas

Le problème suivant se produit après l'exécution d'une tâche BigQuery. Dans ce cas, le problème peut être causé par trois scénarios:

• L'API Data Lineage est désactivée dans le projet actif ou le projet de calcul.
• Le Lecteur de la traçabilité des données (roles/datalineage.viewer) n'est pas disponible dans le projet actif ou Compute.
• La lignée des données n'est pas encore disponible. En fonction du volume et de la complexité des données traitées, l'affichage de la lignée des données peut prendre entre 30 minutes et 24 heures.

Si le message "Échec de l'extraction de la traçabilité en raison d'autorisations manquantes." s'affiche en bas de la page, vous ne disposez pas des autorisations nécessaires pour le projet actif. Sinon, vous ne disposez pas des autorisations nécessaires pour le projet de calcul.

Figure 4 : Exemple de lignée qui ne s'affiche pas dans l'interface utilisateur de BigQuery

Pour résoudre ce problème, vérifiez si l'API Data Lineage est activée pour le projet Compute. Après avoir activé l'API, vous devez exécuter une tâche pour afficher la traçabilité des données. En fonction du volume et de la complexité des données traitées, l'affichage de la lignée des données peut prendre entre 30 minutes et 24 heures.

Vérifiez ensuite si l'API Data Lineage est activée pour le projet actif.

Lorsque l'API Data Lineage est activée, accordez l'accès au lecteur de la traçabilité des données (roles/datalineage.viewer) dans les projets actifs et compute.

Les métadonnées du processus BigQuery ne s'affichent pas

Le problème suivant se produit lorsque vous ouvrez le volet d'informations de la table, qui n'affiche pas tous les détails, comme l'instruction SQL ou la propriété Process type. Cela se produit même si la lignée des données s'affiche correctement.

Cela peut se produire lorsque vous n'êtes pas autorisé à afficher les métadonnées dans le projet de calcul.

Exemple :

• Table source BigQuery: docs-source.dataset.source-001
• Table cible BigQuery: docs-target.dataset.target-001
• Lignée des données entre docs-source.dataset.source-001 et docs-target.dataset.target-001 dans le projet de calcul docs-compute
• Vous disposez du rôle Lecteur de la traçabilité des données pour les projets docs-compute actifs et Compute.

Cliquez sur les détails du processus BigQuery pour afficher le message suivant dans la console Google Cloud:

You don't have permission to view BigQuery process metadata in project X.

Figure 5 Exemple de détails de traitement BigQuery qui ne s'affichent pas dans l'interface utilisateur de BigQuery.

Pour résoudre ce problème, accordez à l'utilisateur l'autorisation bigquery.jobs.get (par exemple, incluse dans le rôle de lecteur de ressources BigQuery) dans le projet Compute.

Les détails de la table BigQuery ne s'affichent pas

Le problème suivant se produit lorsque vous ouvrez le volet d'informations de la table, qui n'affiche que la propriété Fully qualified name. Cela se produit même si la lignée des données s'affiche correctement. Cela peut se produire si vous ne disposez pas de toutes les autorisations requises dans les projets de stockage de la table.

Exemple :

• Table BigQuery docs-source.dataset.source-001
• Table BigQuery docs-target.dataset.target-001
• Traçabilité des données entre docs-source.dataset.source-001 et docs-target.dataset.target-001 avec le projet de calcul docs-compute
• Vous disposez du rôle Lecteur de la traçabilité des données pour les projets docs-compute actifs et Compute.

Dans ce cas, lorsque vous cliquez sur les détails du nœud BigQuery, un message Entry with this fully qualified name is not available in the Data Catalog s'affiche.

Figure 6. Exemple de détails de table BigQuery qui ne s'affichent pas dans l'UI BigQuery.

Pour résoudre ce problème, accordez les autorisations bigquery.tables.get (par exemple, incluses dans le rôle Lecteur de données BigQuery) dans le projet de stockage.