Bien qu'elles soient souvent utilisées ensemble, la traçabilité et la provenance des données se concentrent sur différents aspects du parcours des données.

• La traçabilité des données examine le parcours des données d'un point de vue macro, historique et stratégique. Elle se concentre sur le chemin complet et la logique de transformation qui ont conduit à l'état actuel d'un élément de données. C'est la carte entière.
• La provenance des données est plus granulaire et spécifique. Elle se concentre souvent sur la source immédiate et la propriété d'un point de données ou d'un enregistrement spécifique à un moment donné. Elle est souvent utilisée pour authentifier l'origine d'un élément de données.

En résumé, la traçabilité montre l'évolution complète des données au fil du temps et dans les différents systèmes, tandis que la provenance se concentre souvent sur la source et l'authenticité d'un élément de données particulier.

Une bonne carte de traçabilité des données peut vous aider à répondre rapidement aux questions "qui, quoi, quand, où et pourquoi" concernant n'importe quel élément de données. Les composants essentiels suivis incluent les suivants :

• Source : origine des données (par exemple, une base de données transactionnelle, un fichier ou un système externe)
• Logique de transformation : opérations ou règles métier spécifiques appliquées aux données. Il peut s'agir de requêtes SQL, de scripts Python ou de la logique d'un job ETL (extraction, transformation, chargement).
• Chemin/Flux : séquence de systèmes, de processus et de datastores que les données traversent
• Date/version : date et heure du traitement des données, et version des données ou de la logique de transformation utilisée
• Destination/consommateur : emplacement final des données et personne ou élément qui les a utilisées, comme un rapport réglementaire ou une machine

La traçabilité des données peut être suivie à différentes étapes du cycle de vie du développement des données et à différents niveaux de détail, selon les besoins.

La traçabilité au moment de la conception capture le flux de données tel qu'il est conçu et configuré dans les environnements de développement et de test. Elle repose sur la lecture des plans des pipelines de données, tels que les schémas, les scripts et les configurations de jobs ETL. Elle indique ce qu'il doit advenir des données.

La traçabilité au moment de l'exécution capture le flux de données tel qu'il se produit réellement dans l'environnement de production. Elle enregistre les entrées et sorties spécifiques des jobs et processus exécutés. Elle vous indique ce qui s'est passé avec les données, y compris tout comportement inattendu ou toute erreur. Pour la gouvernance des données, la traçabilité au moment de l'exécution est souvent considérée comme plus utile, car elle reflète la réalité.

Le niveau de détail capturé est appelé granularité. Les entreprises choisissent un niveau de granularité en fonction de leurs besoins en matière de gouvernance des données et de la complexité technique de leur environnement.

• Au niveau des tables : suit le flux de données entre des tables ou des ensembles de données entiers. Il indique que la "Table A des clients" a alimenté la "Table B du rapport sur les ventes".
• Exemple : un système indique que l'intégralité de la table raw_transactions a été chargée dans la table daily_aggregations.
• Au niveau des colonnes : suit le flux de données d'une colonne source à une colonne cible, y compris les transformations appliquées. Cette approche est souvent nécessaire pour la conformité.
• Exemple : il suit la colonne "customer_id" de la base de données source, qui a été renommée "user_key" dans l'entrepôt de données, puis utilisée dans une jointure pour créer le rapport final.
• Au niveau des rapports : permet de savoir quels rapports, tableaux de bord ou applications utilisent quelles tables et colonnes. C'est essentiel pour l'analyse d'impact et la confiance des utilisateurs métier.
• Exemple : un analyste commercial peut remonter à la source d'une métrique du tableau de bord des ventes pour la direction et identifier les colonnes et les tables spécifiques utilisées pour son calcul.
• De bout-en-bout : fournit une vue complète de tous les systèmes, de l'application source initiale (comme un CRM) à toutes les étapes de préparation, de nettoyage et de transformation, jusqu'au rapport final ou au modèle de machine learning.
• Exemple : suit le parcours d'un client depuis son inscription (enregistrée dans la base de données de l'application Web) jusqu'à ce que son utilisation soit résumée dans le résultat du modèle de prédiction du taux de perte d'utilisateurs.