데이터 계보와 데이터 출처는 함께 사용되는 경우가 많지만 데이터 여정의 서로 다른 측면에 초점을 맞춥니다.

• 데이터 계보는 거시적, 역사적, 전략적 관점에서 데이터의 여정을 살펴봅니다. 데이터 애셋의 현재 상태로 이어진 전체 경로와 변환 로직에 초점을 맞춥니다. 즉, 전체 지도입니다.
• 데이터 출처는 더 세분화되고 구체적이며, 종종 특정 시점의 특정 데이터 포인트 또는 레코드의 즉각적인 소스와 소유권에 초점을 맞춥니다. 데이터의 출처를 인증하는 데 자주 사용됩니다.

요약하자면 계보는 시간 경과에 따른 시스템 전반의 데이터 전체 진화를 보여주는 반면, 출처는 특정 데이터 요소의 소스와 진위 여부에 초점을 맞추는 경우가 많습니다.

훌륭한 데이터 계보 맵은 모든 데이터 애셋에 대한 '누가, 무엇을, 언제, 어디서, 왜' 질문에 빠르게 답하는 데 도움이 될 수 있습니다. 추적되는 필수 구성요소는 다음과 같습니다.

• 소스: 데이터가 시작된 위치(예: 트랜잭션 데이터베이스, 파일 또는 외부 시스템)
• 변환 로직: 데이터에 적용되는 특정 작업 또는 비즈니스 규칙으로, SQL 쿼리, Python 스크립트 또는 ETL(추출, 변환, 로드) 작업 로직이 포함될 수 있습니다.
• 경로/흐름: 데이터가 이동하는 시스템, 프로세스, 데이터 스토어의 순서
• 시간/버전: 데이터가 처리된 시간과 사용된 데이터 또는 변환 로직의 버전
• 대상/소비자: 데이터의 최종 저장 위치와 규제 보고서 또는 머신과 같이 데이터를 사용한 주체

데이터 계보는 필요에 따라 데이터 개발 수명 주기의 다양한 단계와 다양한 세부 수준에서 추적할 수 있습니다.

설계 시간 계보는 개발 및 테스트 환경에서 설계 및 구성되는 데이터 흐름을 캡처합니다. 스키마, 스크립트, ETL 작업 구성과 같은 데이터 파이프라인의 청사진을 읽는 것을 기반으로 합니다. 데이터에 어떤 작업이 수행되어야 하는지 알려줍니다.

런타임 계보는 프로덕션 환경에서 실제로 발생하는 데이터 흐름을 캡처합니다. 실행된 작업과 프로세스의 구체적인 입력과 출력을 기록합니다. 예상치 못한 동작이나 오류를 포함하여 데이터에 어떤 일이 일어났는지 알려줍니다. 데이터 거버넌스의 경우 런타임 계보가 현실을 반영하므로 더 가치 있는 것으로 간주되는 경우가 많습니다.

캡처되는 세부정보 수준을 세분성이라고 합니다. 조직은 데이터 거버넌스 요구사항과 환경의 기술적 복잡성에 따라 세분성 수준을 선택합니다.

• 테이블 수준: 전체 테이블 또는 데이터 세트 간의 데이터 흐름을 추적합니다. '고객 테이블 A'가 '판매 보고서 테이블 B'로 흘러 들어갔음을 보여줍니다.
• 예: 시스템에서 전체 raw_transactions 테이블이 daily_aggregations 테이블에 로드되었음을 보여줍니다.
• 열 수준: 소스 열에서 대상 열로의 데이터 흐름을 추적하며 적용된 변환을 포함합니다. 이는 규정 준수를 위해 필요한 경우가 많습니다.
• 예: 소스 데이터베이스의 customer_id 열이 데이터 웨어하우스에서 user_key로 이름이 변경된 후 조인의 일부로 사용되어 final_report를 생성했음을 추적합니다.
• 보고서 수준: 어떤 보고서, 대시보드 또는 애플리케이션이 어떤 테이블과 열을 사용하는지 추적합니다. 이는 영향 분석과 비즈니스 사용자 신뢰에 매우 중요합니다.
• 예: 비즈니스 분석가는 경영진 판매 대시보드의 측정항목을 계산에 사용된 특정 열과 테이블까지 추적할 수 있습니다.
• 엔드 투 엔드: CRM과 같은 초기 소스 애플리케이션부터 모든 스테이징, 정리, 변환 단계를 거쳐 최종 보고서 또는 머신러닝 모델에 이르기까지 모든 시스템에 대한 완전한 뷰를 제공합니다.
• 예: 웹 앱 데이터베이스에 캡처된 최초 가입 시점부터 이탈 예측 모델 출력에 사용량이 요약될 때까지 단일 고객의 여정을 추적합니다.