Embora sejam usados juntos com frequência, a linhagem e a procedência de dados se concentram em aspectos diferentes da jornada dos dados.

• A linhagem de dados analisa a jornada dos dados de uma perspectiva macro, histórica e estratégica. Ela se concentra no caminho completo e na lógica de transformação que levaram ao estado atual de um recurso de dados. É o mapa inteiro.
• A proveniência dos dados é mais granular e específica, geralmente focando na fonte imediata e na propriedade de um ponto de dados ou registro específico em um único momento. Ela costuma ser usada para autenticar a origem de um dado.

Em resumo, a linhagem mostra toda a evolução dos dados ao longo do tempo e em todos os sistemas, enquanto a proveniência geralmente se concentra na origem e na autenticidade de um elemento de dados específico.

Um bom mapa de linhagem de dados pode ajudar você a responder rapidamente às perguntas "quem, o quê, quando, onde e por quê" sobre qualquer recurso de dados. Os componentes essenciais rastreados incluem:

• Origem: de onde os dados vieram, como um banco de dados transacional, um arquivo ou um sistema externo
• Lógica de transformação: as operações ou regras de negócios específicas aplicadas aos dados. Isso pode incluir consultas SQL, scripts Python ou lógica de job de ETL (extração, transformação e carregamento)
• Caminho/fluxo: a sequência de sistemas, processos e repositórios de dados por onde os dados passam
• Hora/versão: quando os dados foram processados e qual versão dos dados ou da lógica de transformação foi usada
• Destino/consumidor: o local final dos dados e quem ou o que os usou, como um relatório regulatório ou uma máquina

A linhagem de dados pode ser rastreada em diferentes estágios do ciclo de vida de desenvolvimento de dados e em vários níveis de detalhes, dependendo da necessidade.

A linhagem em tempo de design captura o fluxo de dados à medida que ele é projetado e configurado em ambientes de desenvolvimento e teste. Ela se baseia na leitura dos blueprints dos pipelines de dados, como esquemas, scripts e configurações de jobs de ETL. Ela informa o que deve acontecer com os dados.

A linhagem de execução captura o fluxo de dados conforme ele realmente acontece no ambiente de produção. Ele registra as entradas e saídas específicas de jobs e processos executados. Ele informa o que aconteceu com os dados, incluindo comportamentos inesperados ou erros. Para a governança de dados, a linhagem de tempo de execução costuma ser considerada mais valiosa, porque reflete a realidade.

O nível de detalhe capturado é chamado de granularidade. As organizações escolhem um nível de granularidade com base nas necessidades de governança de dados e na complexidade técnica do ambiente.

• Nível de tabela: rastreia o fluxo de dados entre tabelas ou conjuntos de dados inteiros. Mostra que a "Tabela A de clientes" fluiu para a "Tabela B de relatórios de vendas"
• Exemplo: um sistema mostra que toda a tabela raw_transactions foi carregada na tabela daily_aggregations
• Nível de coluna: rastreia o fluxo de dados de uma coluna de origem para uma coluna de destino, incluindo as transformações aplicadas. Isso é necessário para a conformidade.
• Exemplo: ele rastreia que a coluna customer_id do banco de dados de origem foi renomeada para user_key no data warehouse e depois usada como parte de uma mesclagem para criar o final_report
• Nível de relatório: rastreia quais relatórios, painéis ou aplicativos consomem quais tabelas e colunas. Isso é essencial para a análise de impacto e a confiança do usuário empresarial
• Exemplo: um analista de negócios pode rastrear uma métrica no painel executivo de vendas até as colunas e tabelas específicas usadas no cálculo.
• End-to-end: oferece uma visão completa de todos os sistemas, desde o aplicativo de origem inicial (como um CRM) até todas as etapas de preparação, limpeza e transformação, até o relatório final ou modelo de machine learning
• Exemplo: rastrear a jornada de um único cliente desde o momento em que ele se inscreveu (capturado no banco de dados do app da Web) até o resumo do uso na saída do modelo de previsão de desistência