Proses ETL, yang merupakan singkatan dari ‘ekstraksi, transformasi, pemuatan’, melibatkan ekstraksi data mentah dari sistem sumbernya, mentransformasikannya ke dalam struktur yang diperlukan, lalu memuatnya ke dalam sistem tujuan, biasanya data warehouse. ETL membantu memastikan data terorganisir, bersih, dan siap digunakan di hilir dalam analisis atau aplikasi.

Biasanya, ETL berjalan dalam batch terjadwal yang besar, sering kali semalaman. Artinya, data di sistem target hanya seaktual batch yang dijalankan terakhir.

Perbedaan utamanya terletak pada cara CDC mengekstrak data. Alih-alih mengekstrak set data dalam batch, CDC menangkap perubahan saat terjadi, sehingga memungkinkan untuk selalu mengkueri data terbaru, bukan mengandalkan batch processing berkala. Hal ini dapat membantu Anda merespons perubahan dengan lebih cepat dan mendapatkan insight yang lebih akurat.

Pengambilan data perubahan terutama merupakan proses yang berfokus pada ekstraksi efisien semua perubahan inkremental dari database sumber, sering kali dalam waktu mendekati real time, untuk meminimalkan beban pada sistem sumber.

Sebaliknya, dimensi yang berubah secara perlahan (SCD) adalah teknik pemodelan data yang diterapkan di data warehouse target atau sistem analisis, yang berfokus pada cara menyimpan dan mengelola status historis data dimensi (seperti data pelanggan atau atribut produk) dari waktu ke waktu.

Meskipun CDC adalah alat untuk transportasi data perubahan yang efisien, perubahan ini biasanya diterapkan menggunakan strategi SCD tertentu untuk mempertahankan histori yang lengkap dan akurat dalam sistem tujuan.

CDC dapat membuka berbagai kasus penggunaan penting, mulai dari memastikan kontinuitas data hingga mendukung analisis real-time dan AI.

• Replikasi: Database sekunder atau cadangan tetap konsisten dengan sistem utama dengan menangkap perubahan real-time. Hal ini penting untuk disaster recovery dan arsitektur ketersediaan tinggi.
• Migrasi: Migrasi database disederhanakan dengan melacak perubahan yang sedang berlangsung dan memastikan sistem tujuan mencerminkan sumber secara akurat, bahkan selama migrasi langsung.
• Analisis real-time: Dengan memasukkan data live ke dalam sistem analisis, CDC membantu Anda merespons tren dan perubahan saat terjadi, sehingga memberikan insight terbaru.
• Data untuk pelatihan AI: CDC menyediakan data terbaru, sehingga model AI dan machine learning dapat dilatih dengan informasi yang akurat dan relevan, sehingga meningkatkan prediksi dan pengambilan keputusan.
• Membangun cloud data: CDC adalah layanan penting untuk membuat cloud data terpadu, yang melakukan streaming perubahan real-time dari berbagai sumber yang terisolasi (seperti database transaksional dan aplikasi SaaS) ke platform analisis pusat dan sebaliknya. Hal ini membantu menghilangkan hambatan data dan menciptakan satu sumber tepercaya.

Database adalah sumber yang paling umum dan andal untuk pengambilan data perubahan karena komponen inti yang dimiliki bersama: log transaksi. Log ini adalah kumpulan catatan perubahan yang tidak dapat diubah dan terurut, sehingga menjadi fondasi yang sempurna untuk menangkap modifikasi data secara akurat dan efisien tanpa memengaruhi performa database. Berikut adalah pembahasan lebih mendalam tentang konsep-konsep utama.

Sebelum data apa pun ditulis ke tabel database yang sebenarnya, perubahan (penyisipan, pembaruan, atau penghapusan) pertama-tama dicatat dalam log transaksi. Alat CDC modern memanfaatkan log ini untuk menangkap perubahan tanpa mengganggu. Ini adalah bagian inti dari teknologi replikasi database, dan meskipun konsepnya universal, nama log ini bervariasi di berbagai database populer. Beberapa contoh penting:

• PostgreSQL: write-ahead log (WAL)
• Oracle: redo log
• SQL Server: transaction log
• MySQL: binary log (Binlog)

Untuk database besar yang sudah ada, membaca seluruh histori dari log transaksi dapat menjadi tidak praktis karena performa jaringan dan batasan lainnya. Pola umum di dunia nyata adalah melakukan pemuatan massal terlebih dahulu, lalu menggunakan CDC untuk melakukan sinkronisasi. Proses ini melibatkan aktivitas:

1. Mengambil snapshot atau cadangan database yang konsisten pada titik waktu tertentu.
2. Memuat snapshot besar tersebut ke dalam sistem tujuan.
3. Memulai aliran CDC dari posisi log yang tepat saat snapshot diambil.

Metode “snapshot and catch-up” ini memastikan tujuan diisi sepenuhnya dengan data historis, lalu disinkronkan dengan sempurna dengan semua perubahan live berikutnya. Inilah cara layanan terkelola seperti Datastream dan Database Migration Service Google Cloud melakukan pengisian ulang yang lancar dan andal.

Untuk mengelola proses ini dengan andal, CDC mengandalkan ID unik dalam log transaksi, yang biasanya disebut nomor urut log (LSN). Angka-angka ini berfungsi sebagai bookmark yang tepat untuk aliran perubahan. Mereka sangat penting untuk:

• Penentuan posisi: Mengetahui dengan tepat di mana dalam log untuk memulai atau menghentikan aliran
• Pemulihan: Jika proses CDC gagal, proses tersebut dapat dimulai ulang dari LSN yang terakhir diproses dengan sukses, sehingga menjamin bahwa setiap perubahan akan ditangkap tepat satu kali tanpa kehilangan atau duplikasi data

Mekanisme ini—log transaksi, snapshot awal, dan nomor urut log—bekerja sama untuk membuat CDC database sangat efisien dan andal.

Beberapa teknologi tumpang tindih dengan atau melengkapi CDC, yang menawarkan berbagai pendekatan untuk mengelola perubahan data dan memungkinkan pemrosesan real-time. Berikut perbandingan CDC dengan pendekatan terkemuka lainnya:

HTAP menggabungkan beban kerja transaksional (OLTP) dan analitis (OLAP) ke dalam satu sistem, sehingga memberikan analisis langsung pada data. Meskipun hal ini membuat HTAP sangat cocok untuk analisis terpadu dalam lingkungan mandiri, HTAP dapat kesulitan melakukan sinkronisasi dengan sumber data yang beragam dan terdistribusi yang ada di seluruh organisasi. Di sisi lain, CDC unggul dalam menjaga konsistensi data di berbagai sistem dan memungkinkan alur kerja terdistribusi.

Kueri gabungan (dan pendekatan serupa yang disebut ‘tabel eksternal’) memungkinkan data warehouse atau mesin kueri membaca data langsung dari sistem sumber eksternal, seperti database transaksional, saat kueri dijalankan. Pendekatan ini menghindari kebutuhan untuk menyalin atau memindahkan data, sehingga memberikan akses langsung ke informasi di tempat data tersebut berada.

Metode ini sangat baik untuk analisis ad hoc atau kueri sesekali, karena menawarkan akses langsung tanpa perlu menyiapkan pipeline replikasi. Namun, untuk kueri yang sering digunakan atau sensitif terhadap performa, hal ini dapat menjadi tidak efisien karena memberikan beban langsung pada sistem operasional sumber dengan setiap kueri. Tidak seperti CDC, yang secara proaktif mendorong aliran perubahan ke tujuan untuk analisis yang dioptimalkan, federasi menarik data sesuai permintaan, yang mungkin tidak cocok untuk workload frekuensi tinggi.

Kafka adalah platform open source yang dirancang untuk streaming dan pemrosesan data throughput tinggi. Meskipun Kafka secara efisien mengelola aliran data berskala besar, Kafka melengkapi CDC, bukan menggantikannya. CDC berfokus pada pengambilan perubahan database yang tepat secara real time, sedangkan Kafka mengalirkan data peristiwa yang lebih luas, seperti klik situs, pembacaan sensor IoT, atau item yang ditambahkan ke keranjang belanja. Bersama-sama, teknologi ini dapat menciptakan kombinasi yang efektif untuk alur kerja real-time.

Meskipun CDC menggunakan pendekatan tanpa coding untuk mereplikasi data, teknologi integrasi yang terhubung di lapisan aplikasi menghubungkan sistem dan platform SaaS menggunakan pendekatan low-code. Jika Anda ingin mentransformasi data saat berpindah antarplatform, produk integrasi tingkat aplikasi, seperti Application Integration Google Cloud, dapat menjadi alat yang lebih baik untuk pekerjaan tersebut.