Aunque a menudo se usan juntos, el linaje de datos y la procedencia de los datos se enfocan en diferentes aspectos del recorrido de los datos.

• El linaje de datos analiza el recorrido de los datos desde una perspectiva macro, histórica y estratégica. Se enfoca en la ruta completa y la lógica de transformación que llevó al estado actual de un recurso de datos. Es todo el mapa.
• La procedencia de los datos es más específica, y suele enfocarse en la fuente inmediata y la propiedad de un dato o registro específico en un momento determinado. A menudo, se usa para autenticar el origen de un dato.

En resumen, el linaje muestra toda la evolución de los datos a lo largo del tiempo y en todos los sistemas, mientras que la procedencia suele centrarse en la fuente y la autenticidad de un dato en particular.

Un buen mapa de linaje de datos puede ayudarte a responder rápidamente las preguntas “quién, qué, cuándo, dónde y por qué” sobre cualquier recurso de datos. Los componentes esenciales que se registran incluyen los siguientes:

• Fuente: El origen de los datos, como una base de datos transaccional, un archivo o un sistema externo.
• Lógica de transformación: Las operaciones o reglas de negocio específicas que se aplican a los datos; esto podría incluir consultas en SQL, secuencias de comandos de Python o lógica de trabajo de ETL (extracción, transformación y carga).
• Ruta o flujo: La secuencia de sistemas, procesos y almacenes de datos por los que se mueven los datos.
• Hora/versión: Cuándo se procesaron los datos y la versión de los datos o la lógica de transformación que se usó.
• Destino/consumidor: El lugar final de los datos y quién o qué los usó, como un informe reglamentario o un modelo de aprendizaje automático.

El linaje de datos se puede rastrear en diferentes etapas del ciclo de vida del desarrollo de datos y en varios niveles de detalle, según la necesidad.

El linaje en tiempo de diseño captura el flujo de datos a medida que se diseña y configura en entornos de desarrollo y pruebas. Se basa en la lectura de los planos de las canalizaciones de datos, como los esquemas, las secuencias de comandos y la configuración de los trabajos de ETL. Te indica qué debería suceder con los datos.

El linaje en tiempo de ejecución captura el flujo de datos tal como sucede en el entorno de producción. Registra las entradas y salidas específicas de los trabajos y procesos ejecutados. Te indica qué ocurrió con los datos, incluidos los errores o comportamientos inesperados. Para la administración de datos, el linaje en tiempo de ejecución suele considerarse más valioso, ya que refleja la realidad.

Como su nombre lo indica, el nivel de detalle es la cantidad de detalles entregados. Las organizaciones eligen un nivel de detalle en función de sus necesidades de administración de datos y la complejidad técnica de su entorno.

• A nivel de tabla: Realiza un seguimiento del flujo de datos entre tablas o conjuntos de datos completos; muestra que la "Tabla de clientes A" fluyó hacia la "Tabla de informes de ventas B".
• Ejemplo: Un sistema muestra que toda la tabla raw_transactions se cargó en la tabla daily_aggregations.
• A nivel de columna: Realiza un seguimiento del flujo de datos desde una columna de origen hasta una columna de destino, incluidas las transformaciones aplicadas. Esto suele ser necesario para el cumplimiento.
• Ejemplo: Realiza un seguimiento de la columna customer_id de la base de datos de origen que se cambió a user_key en el almacén de datos y, luego, se usó como parte de una unión para crear el informe final.
• Nivel de informe: Realiza un seguimiento de qué informes, paneles o aplicaciones consumen qué tablas y columnas. Esto es fundamental para el análisis de impacto y la confianza de los usuarios empresariales.
• Ejemplo: Un analista de negocios puede rastrear una métrica en el panel de ventas ejecutivo hasta las columnas y tablas específicas que se usaron en su cálculo.
• De extremo a extremo: Proporciona una vista completa de todos los sistemas, desde la aplicación de origen inicial (como un CRM) hasta todos los pasos de almacenamiento intermedio, limpieza y transformación, hasta el informe final o el modelo de aprendizaje automático.
• Ejemplo: Seguimiento del recorrido de un solo cliente desde que se registró por primera vez (capturado en la base de datos de la app web) hasta que su uso se resume en el resultado del modelo de predicción de deserción