Aunque suelen usarse juntos, el linaje de datos y la procedencia de datos se centran en diferentes aspectos del recorrido de los datos.

• El linaje de datos analiza el recorrido de los datos desde una perspectiva macro, histórica y estratégica. Se centra en la ruta completa y la lógica de transformación que han llevado al estado actual de un recurso de datos. Es todo el mapa.
• La procedencia de los datos es más granular y específica, y suele centrarse en la fuente inmediata y la propiedad de un punto de datos o registro concreto en un momento determinado. Se suele usar para autenticar el origen de un fragmento de datos.

En resumen, la linaje muestra toda la evolución de los datos a lo largo del tiempo y en todos los sistemas, mientras que la procedencia suele centrarse en la fuente y la autenticidad de un elemento de datos concreto.

Un buen mapa de linaje de datos puede ayudarte a responder rápidamente a las preguntas "quién, qué, cuándo, dónde y por qué" sobre cualquier recurso de datos. Los componentes esenciales que se monitorizan son los siguientes:

• Fuente: el origen de los datos, como una base de datos transaccional, un archivo o un sistema externo.
• Lógica de transformación: las operaciones o reglas empresariales específicas que se aplican a los datos. Esto puede incluir consultas de SQL, scripts de Python o lógica de tareas de ETL (extracción, transformación y carga).
• Ruta o flujo: la secuencia de sistemas, procesos y almacenes de datos por los que pasan los datos.
• Hora o versión: cuándo se procesaron los datos y qué versión de los datos o de la lógica de transformación se usó.
• Destino o consumidor: el lugar donde se almacenan los datos y quién o qué los usa, como un informe normativo o una máquina.

El linaje de datos se puede monitorizar en distintas fases del ciclo de vida del desarrollo de datos y con diferentes niveles de detalle, en función de las necesidades.

El linaje en tiempo de diseño captura el flujo de datos a medida que se diseña y configura en entornos de desarrollo y pruebas. Se basa en la lectura de los planos de los flujos de procesamiento de datos, como los esquemas, las secuencias de comandos y las configuraciones de tareas de ETL. Te indica qué debe ocurrir con los datos.

El linaje en tiempo de ejecución captura el flujo de datos tal y como se produce en el entorno de producción. Registra las entradas y salidas específicas de los procesos y trabajos ejecutados. Te indica qué ha ocurrido con los datos, incluidos los errores o comportamientos inesperados. En cuanto al gobierno de datos, el linaje en tiempo de ejecución suele considerarse más valioso, ya que refleja la realidad.

El nivel de detalle que se registra se denomina granularidad. Las empresas eligen un nivel de granularidad en función de sus necesidades de gobernanza de datos y de la complejidad técnica de su entorno.

• Nivel de tabla: hace un seguimiento del flujo de datos entre tablas o conjuntos de datos completos. Por ejemplo, muestra que los datos de la tabla A de clientes se han transferido a la tabla B de informes de ventas.
• Ejemplo: un sistema muestra que toda la tabla raw_transactions se ha cargado en la tabla daily_aggregations.
• Nivel de columna: hace un seguimiento del flujo de datos desde una columna de origen hasta una columna de destino, incluidas las transformaciones aplicadas. Esto suele ser necesario para cumplir las normativas.
• Ejemplo: hace un seguimiento de que la columna customer_id de la base de datos de origen se cambió a user_key en el almacén de datos y, después, se usó como parte de una unión para crear el informe final.
• Nivel de informe: hace un seguimiento de qué informes, paneles de control o aplicaciones consumen qué tablas y columnas. Esto es fundamental para el análisis de impacto y la confianza de los usuarios empresariales.
• Ejemplo: un analista de empresa puede rastrear una métrica del panel de control de ventas para ejecutivos hasta las columnas y tablas específicas que se han usado en su cálculo.
• End-to-end: ofrece una vista completa de todos los sistemas, desde la aplicación de origen inicial (como un CRM) hasta todos los pasos de preparación, limpieza y transformación, pasando por el informe final o el modelo de aprendizaje automático.
• Ejemplo: hacer un seguimiento del recorrido de un cliente desde que se registra por primera vez (información que se guarda en la base de datos de la aplicación web) hasta que su uso se resume en la salida del modelo de predicción de abandono.