El proceso de ETL (extracción, transformación y carga) consiste en extraer datos sin procesar de su sistema de origen, transformarlos en la estructura necesaria y, a continuación, cargarlos en el sistema de destino, que suele ser un almacén de datos. El ETL ayuda a garantizar que los datos estén organizados, limpios y listos para su uso posterior en analíticas o aplicaciones.

Tradicionalmente, el proceso ETL se ejecuta en lotes grandes y programados, a menudo durante la noche. Esto significa que los datos del sistema de destino solo están tan actualizados como la ejecución de lote más reciente.

La diferencia clave radica en cómo extrae los datos. En lugar de extraer el conjunto de datos en lotes, la CDC captura los cambios a medida que se producen, lo que permite consultar siempre los datos más recientes en lugar de depender del procesamiento por lotes periódico. Esto puede ayudarte a responder más rápido a los cambios y a obtener estadísticas más precisas.

La captura de datos de cambios es principalmente un proceso centrado en la extracción eficiente de todos los cambios incrementales de una base de datos de origen, a menudo casi en tiempo real, para minimizar la carga en el sistema de origen.

Por el contrario, las dimensiones de cambio lento (SCD) son una técnica de modelado de datos que se aplica en el almacén de datos o sistema analítico de destino, y se centra en cómo almacenar y gestionar el estado histórico de los datos de dimensión (como los registros de clientes o los atributos de productos) a lo largo del tiempo.

Aunque la CDC es la herramienta para transportar los cambios de datos de forma eficiente, estos cambios suelen aplicarse mediante una estrategia de SCD específica para mantener un historial completo y preciso en el sistema de destino.

CDC puede habilitar una amplia gama de casos prácticos críticos, desde garantizar la continuidad de los datos hasta potenciar las analíticas y la IA en tiempo real.

• Replicación: las bases de datos secundarias o las copias de seguridad se mantienen coherentes con el sistema principal capturando los cambios en tiempo real. Esto es fundamental para la recuperación tras fallos y las arquitecturas de alta disponibilidad.
• Migración: las migraciones de bases de datos se simplifican al hacer un seguimiento de los cambios que se producen y al asegurar que el sistema de destino refleja con precisión el origen, incluso durante las migraciones en tiempo real.
• Analíticas en tiempo real: al introducir datos en directo en los sistemas de analíticas, la CDC te ayuda a responder a las tendencias y los cambios a medida que se producen, ofreciéndote estadísticas actualizadas al minuto.
• Datos para el entrenamiento de la IA: la CDC proporciona los datos más recientes, lo que permite entrenar modelos de IA y aprendizaje automático con información precisa y relevante, mejorando las predicciones y la toma de decisiones.
• Creación de una nube de datos: la CDC es un servicio esencial para crear una nube de datos unificada, que transmite cambios en tiempo real desde diversas fuentes aisladas (como bases de datos transaccionales y aplicaciones SaaS) a una plataforma de analíticas central y viceversa. Esto ayuda a romper las barreras de datos y crea una única fuente de información veraz.

Las bases de datos son la fuente más común y fiable para la captura de datos de cambios, ya que todas comparten un componente fundamental: el registro de transacciones. Este registro es un registro inmutable y ordenado de cada cambio, lo que lo convierte en la base perfecta para capturar modificaciones de datos de forma precisa y eficiente sin afectar al rendimiento de la base de datos. A continuación, analizamos en detalle los conceptos clave.

Antes de que se escriban datos en las tablas de la base de datos, el cambio (inserción, actualización o eliminación) se registra primero en un registro de transacciones. Las herramientas modernas de CDC aprovechan este registro para captar los cambios de forma no intrusiva. Es una parte fundamental de la tecnología de replicación de bases de datos, y aunque el concepto es universal, el nombre de este registro varía en las bases de datos más populares. Algunos ejemplos destacados:

• PostgreSQL registro de escritura previa (WAL)
• Oracle: registro de rehacer
• SQL Server: registro de transacciones
• MySQL: registro binario (Binlog)

En el caso de las bases de datos grandes, leer todo el historial del registro de transacciones puede ser poco práctico debido al rendimiento de la red y otras limitaciones. Un patrón común en el mundo real es realizar primero una carga masiva y, después, usar CDC para sincronizar. El proceso implica:

1. Hacer una captura o copia de seguridad coherente de la base de datos en un momento concreto.
2. Cargar esa gran captura en el sistema de destino.
3. Iniciar el flujo de CDC desde la posición exacta del registro en la que se tomó la captura.

Este método de "captura y puesta al día" garantiza que el destino se rellene por completo con datos históricos y, después, se mantenga perfectamente sincronizado con todos los cambios en tiempo real posteriores. Así es como los servicios gestionados como Datastream y Database Migration Service de Google Cloud realizan rellenos de datos históricos fiables y sin interrupciones.

Para gestionar este proceso de forma fiable, CDC se basa en identificadores únicos dentro del registro de transacciones, que normalmente se denominan números de secuencia de registro (LSNs). Estos números actúan como marcadores precisos para el flujo de cambios. Son fundamentales para:

• Posicionamiento: saber exactamente en qué punto del registro iniciar o detener un flujo.
• Recuperación: si un proceso de CDC falla, puede reiniciarse desde el último LSN procesado correctamente, lo que garantiza que cada cambio se capture exactamente una vez sin pérdida ni duplicación de datos.

Estos mecanismos (el registro de transacciones, la captura inicial y el número de secuencia de registro) funcionan en conjunto para que el CDC de bases de datos sea muy eficiente y fiable.

Varias tecnologías se solapan con la CDC o la complementan, ofreciendo diferentes enfoques para gestionar los cambios en los datos y permitir el procesamiento en tiempo real. Así es como se compara el CDC con otros enfoques destacados:

HTAP combina cargas de trabajo transaccionales (OLTP) y analíticas (OLAP) en un solo sistema, lo que proporciona analíticas inmediatas sobre los datos. Aunque esto hace que HTAP sea muy adecuado para la analítica unificada en un entorno autónomo, puede tener dificultades para sincronizarse con las diversas fuentes de datos distribuidas que existen en una organización. Por otro lado, la CDC destaca por mantener la coherencia de los datos en varios sistemas y por permitir flujos de trabajo distribuidos.

Las consultas federadas (y un enfoque similar llamado "tablas externas") permiten que un almacén de datos o un motor de consultas lean datos directamente de un sistema de origen externo, como una base de datos transaccional, en el momento en que se ejecuta una consulta. De esta forma, no es necesario copiar ni mover los datos, ya que se puede acceder a la información en tiempo real desde donde se encuentre.

Este método puede ser excelente para análisis ad hoc o consultas ocasionales, ya que ofrece acceso inmediato sin necesidad de configurar un flujo de replicación. Sin embargo, puede ser ineficiente para las consultas que se usan con frecuencia o que son sensibles al rendimiento, ya que ejerce una carga directa en el sistema operativo de origen con cada consulta. A diferencia de la CDC, que envía de forma proactiva un flujo de cambios a un destino para optimizar las analíticas, la federación extrae los datos bajo demanda, lo que puede no ser adecuado para cargas de trabajo de alta frecuencia.

Kafka es una plataforma de código abierto diseñada para el procesamiento y el streaming de datos de alto rendimiento. Aunque gestiona de forma eficiente flujos de datos a gran escala, Kafka complementa la CDC en lugar de sustituirla. La CDC se centra en capturar cambios precisos en bases de datos en tiempo real, mientras que Kafka transmite datos de eventos más amplios, como un clic en un sitio web, la lectura de un sensor de IoT o la adición de un artículo a un carrito de la compra. Juntas, estas tecnologías pueden crear una combinación potente para los flujos de trabajo en tiempo real.

Aunque la CDC usa un enfoque sin código para replicar datos, las tecnologías de integración que se conectan en la capa de aplicación conectan sistemas y plataformas SaaS usando un enfoque con poco código. Si quieres transformar los datos a medida que se mueven entre plataformas, los productos de integración a nivel de aplicación, como Application Integration de Google Cloud, pueden ser una mejor herramienta para el trabajo.