Meskipun sering digunakan bersamaan, silsilah data dan asal-usul data berfokus pada aspek berbeda dari perjalanan data.

• Silsilah data melihat perjalanan data dari perspektif makro, historis, dan strategis. Silsilah data berfokus pada jalur lengkap dan logika transformasi yang mengarah ke status aset data saat ini. Ini seluruh peta.
• Provenansi data lebih terperinci dan spesifik, sering kali berfokus pada sumber langsung dan kepemilikan titik data atau kumpulan data tertentu pada satu titik waktu. Teknik ini sering digunakan untuk mengautentikasi asal data.

Singkatnya, silsilah menunjukkan seluruh evolusi data dari waktu ke waktu dan di seluruh sistem, sedangkan asal-usul sering kali berfokus pada sumber dan keaslian elemen data tertentu.

Peta silsilah data yang baik dapat membantu Anda menjawab pertanyaan "siapa, apa, kapan, di mana, dan mengapa" dengan cepat tentang aset data apa pun. Komponen penting yang dilacak meliputi:

• Sumber: Asal data, seperti database transaksional, file, atau sistem eksternal
• Logika transformasi: Operasi atau aturan bisnis spesifik yang diterapkan pada data; ini mungkin mencakup kueri SQL, skrip Python, atau logika tugas ETL (Extract, Transform, Load)
• Jalur/alur: Urutan sistem, proses, dan penyimpanan data yang dilalui data
• Waktu/versi: Kapan data diproses dan versi data atau logika transformasi mana yang digunakan
• Tujuan/konsumen: Tempat penyimpanan akhir data dan siapa atau apa yang menggunakannya, seperti mesin atau laporan ke regulator

Silsilah data dapat dilacak pada berbagai tahap siklus proses pengembangan data dan pada berbagai tingkat detail, bergantung pada kebutuhan.

Silsilah waktu desain menangkap aliran data saat dirancang dan dikonfigurasi di lingkungan pengembangan dan pengujian. Hal ini didasarkan pada pembacaan blueprint pipeline data, seperti skema, skrip, dan konfigurasi tugas ETL. Hal ini akan memberi tahu Anda apa yang harus dilakukan terhadap data.

Silsilah waktu proses menangkap aliran data sebagaimana adanya di lingkungan produksi. Silsilah ini mencatat input dan output spesifik dari tugas dan proses yang dijalankan. Silsilah ini memberi tahu Anda apa yang terjadi pada data, termasuk perilaku atau error yang tidak terduga. Untuk tata kelola data, silsilah waktu proses sering kali dianggap lebih berharga karena mencerminkan realitas.

Tingkat detail yang dicatat disebut granularitas. Organisasi memilih tingkat perincian berdasarkan kebutuhan tata kelola data dan kompleksitas teknis lingkungan mereka.

• Tingkat tabel: Melacak aliran data antara seluruh tabel atau set data; menunjukkan bahwa 'Tabel Pelanggan A' mengalir ke 'Tabel Laporan Penjualan B'
• Contoh: Sistem menunjukkan bahwa seluruh tabel raw_transactions dimuat ke dalam tabel daily_aggregations
• Tingkat kolom: Melacak alur data dari kolom sumber ke kolom target, termasuk transformasi yang diterapkan; hal ini sering kali diperlukan untuk kepatuhan
• Contoh: Melacak bahwa kolom customer_id dari database sumber diubah namanya menjadi user_key di data warehouse, lalu digunakan sebagai bagian dari gabungan untuk membuat final_report
• Tingkat laporan: Melacak laporan, dasbor, atau aplikasi mana yang menggunakan tabel dan kolom mana; hal ini penting untuk analisis dampak dan kepercayaan pengguna bisnis
• Contoh: Seorang analis bisnis dapat menelusuri metrik di Dasbor Penjualan Eksekutif hingga ke kolom dan tabel spesifik yang digunakan dalam perhitungannya
• End-to-end: Memberikan tampilan lengkap di semua sistem, mulai dari aplikasi sumber awal (seperti CRM) hingga semua langkah penyiapan, pembersihan, dan transformasi, hingga laporan akhir atau model machine learning
• Contoh: Melacak perjalanan satu pelanggan sejak mereka pertama kali mendaftar (ditangkap dalam database aplikasi web) hingga ringkasan penggunaan mereka dalam output Model Prediksi Churn