Le processus ETL (extraction, transformation et chargement) consiste à extraire les données brutes du système source, à les transformer dans la structure nécessaire, puis à les charger dans le système de destination, généralement un entrepôt de données. Il permet de s'assurer que les données sont organisées, nettoyées et prêtes à être utilisées en aval dans des analyses ou des applications.

Traditionnellement, le processus ETL s'exécute par lots volumineux et programmés, souvent pendant la nuit. Cela signifie que les données du système cible ne sont pas plus récentes que la dernière exécution par lot.

La principale différence réside dans la façon dont la CDC extrait les données. Au lieu d'extraire l'ensemble de données par lots, la CDC capture les modifications au fur et à mesure qu'elles se produisent. Il est ainsi possible d'interroger les données les plus récentes à tout moment, au lieu de s'appuyer sur un traitement par lot périodique. Vous pouvez ainsi réagir plus rapidement aux changements et obtenir des insights plus précis.

La capture des données modifiées est avant tout un processus axé sur l'extraction efficace de toutes les modifications incrémentielles d'une base de données source, souvent en temps quasi réel, afin de minimiser la charge sur le système source.

En revanche, les dimensions à évolution lente (SCD) sont une technique de modélisation des données appliquée dans l'entrepôt de données ou le système d'analyse cible. Elles se concentrent sur la façon de stocker et de gérer l'état historique des données de dimension (comme les fiches client ou les attributs de produit) dans le temps.

La CDC est l'outil qui permet de transférer efficacement les données modifiées. Ces modifications sont généralement appliquées à l'aide d'une stratégie SCD spécifique afin de conserver un historique complet et précis dans le système de destination.

La CDC peut débloquer un large éventail de cas d'utilisation critiques, allant de la continuité des données à l'analyse en temps réel et à l'IA.

• Réplication : les bases de données secondaires ou les sauvegardes restent cohérentes avec le système principal en capturant les modifications en temps réel. C'est essentiel pour les architectures de reprise après sinistre et haute disponibilité.
• Migration : les migrations de bases de données sont simplifiées grâce au suivi des modifications en cours. Le système de destination reflète fidèlement la source, même pendant les migrations à chaud.
• Analyse en temps réel : en transmettant des données en direct aux systèmes d'analyse, la CDC vous aide à réagir aux tendances et aux changements au fur et à mesure qu'ils se produisent, en vous fournissant des insights à la minute près.
• Données pour l'entraînement de l'IA : la CDC fournit les données les plus récentes, ce qui permet d'entraîner les modèles d'IA et de machine learning avec des informations précises et pertinentes, et ainsi d'améliorer les prédictions et la prise de décision.
• Créer un cloud de données : la CDC est un service essentiel pour créer un cloud de données unifié, qui diffuse les modifications en temps réel depuis différentes sources cloisonnées (comme les bases de données transactionnelles et les applications SaaS) sur une plate-forme d'analyse centrale, et inversement. Cela permet de décloisonner les données et de créer une source de référence unique.

Les bases de données sont la source la plus courante et la plus fiable pour la capture des données modifiées, car elles partagent toutes un composant essentiel : le journal des transactions. Ce journal est un enregistrement immuable et ordonné de chaque modification, ce qui en fait la base idéale pour capturer les modifications apportées aux données de manière précise et efficace, sans impacter les performances des bases de données. Voici une présentation plus détaillée des concepts clés.

Avant que les données ne soient écrites dans des tables de base de données, la modification (insertion, mise à jour ou suppression) est d'abord enregistrée dans un journal des transactions. Les outils de CDC modernes exploitent ce journal pour capturer les modifications de manière non intrusive. Il s'agit d'un élément essentiel de la technologie de réplication de base de données. Si le concept est universel, le nom de ce journal varie selon les bases de données populaires. Voici quelques exemples notables :

• PostgreSQL : journal WAL (Write-Ahead Logging)
• Oracle : journal de rétablissement
• SQL Server : journal des transactions
• MySQL : journal binaire (Binlog)

Pour les grandes bases de données existantes, la lecture de l'intégralité de l'historique à partir du journal des transactions peut s'avérer peu pratique en raison des performances du réseau et d'autres contraintes. Dans la pratique, il est courant d'effectuer d'abord un chargement par lot, puis d'utiliser la CDC pour la synchronisation. Ce processus implique les actions suivantes :

1. Prendre un instantané ou effectuer une sauvegarde de la base de données de manière cohérente à un moment précis
2. Charger cet instantané volumineux dans le système de destination
3. Démarrer le flux CDC à partir de la position exacte du journal où l'instantané a été pris

Cette méthode de capture instantanée et de rattrapage garantit que la destination est entièrement alimentée avec les données historiques, puis qu'elle reste parfaitement synchronisée avec toutes les modifications ultérieures en temps réel. C'est ainsi que les services gérés comme Datastream et Database Migration Service de Google Cloud effectuent des remplissages fiables et fluides.

Pour gérer ce processus de manière fiable, la CDC s'appuie sur des identifiants uniques dans le journal des transactions, généralement appelés numéros de séquence des journaux (LSN). Ces numéros servent de signets précis pour le flux de modifications. Ils sont essentiels pour :

• Le positionnement : savoir exactement où commencer ou arrêter un flux dans le journal.
• La récupération : si un processus CDC échoue, il peut redémarrer à partir du dernier LSN traité, ce qui garantit que chaque modification est capturée une seule fois, sans perte ni duplication de données.

Ces mécanismes (le journal des transactions, l'instantané initial et le numéro de séquence du journal) fonctionnent de concert pour rendre la CDC de base de données à la fois très efficace et fiable.

Plusieurs technologies se chevauchent ou complètent la CDC, offrant des approches variées pour gérer les modifications apportées aux données et permettre leur traitement en temps réel. Voici les différences entre la CDC et d'autres approches courantes :

Le traitement HTAP combine les charges de travail transactionnelles (OLTP) et analytiques (OLAP) dans un seul système, ce qui permet d'effectuer immédiatement des analyses sur les données. Le traitement HTAP est donc particulièrement adapté aux analyses unifiées dans un environnement autonome, mais peut avoir du mal à se synchroniser avec différentes sources de données distribuées à l'échelle d'une organisation. La CDC, quant à elle, excelle dans le maintien de la cohérence des données entre plusieurs systèmes et dans l'activation des workflows distribués.

Les requêtes fédérées et une approche similaire appelée "tables externes" permettent à un entrepôt de données ou à un moteur de requête de lire les données directement à partir d'un système source externe, tel qu'une base de données transactionnelle, au moment de l'exécution d'une requête. Cette approche évite de copier ou de déplacer les données, et permet d'accéder en direct aux informations là où elles se trouvent.

Cette méthode est idéale pour les analyses ad hoc ou les requêtes ponctuelles, car elle offre un accès immédiat sans nécessiter la configuration d'un pipeline de réplication. Toutefois, pour les requêtes fréquemment utilisées ou sensibles aux performances, cette approche peut être inefficace, car elle impose une charge directe au système opérationnel source à chaque requête. Contrairement à la CDC, qui envoie de manière proactive un flux de modifications vers une destination pour optimiser les analyses, la fédération extrait les données à la demande, ce qui peut ne pas convenir aux charges de travail à haute fréquence.

Kafka est une plate-forme Open Source conçue pour le traitement et la diffusion des données à haut débit. Bien qu'elle gère efficacement les flux de données à grande échelle, Kafka complète la CDC plutôt que de la remplacer. La CDC se concentre sur la capture précise des modifications apportées à une base de données en temps réel, tandis que Kafka diffuse des données d'événement plus générales, comme un clic vers un site Web, la lecture d'un capteur IoT ou l'ajout d'un article à un panier. Ensemble, ces technologies peuvent créer une combinaison puissante pour les workflows en temps réel.

La CDC utilise une approche sans code pour répliquer les données, tandis que les technologies d'intégration qui se connectent au niveau de la couche d'application connectent les systèmes et les plates-formes SaaS à l'aide d'une approche low-code. Si vous souhaitez transformer les données lors de leur transfert entre les plates-formes, les produits d'intégration au niveau des applications, tels que Application Integration de Google Cloud, peuvent être plus adaptés.