Menambahkan tabel ke tugas replikasi

Setelah men-deploy tugas replikasi, Anda tidak dapat mengedit atau menambahkan tabel ke tugas tersebut. Sebagai gantinya, tambahkan tabel ke tugas replikasi baru atau duplikat.

Sebelum memulai

  • Untuk menggunakan solusi ini, Anda memerlukan instance Cloud Data Fusion yang berisi tugas replikasi. Untuk menyiapkan Replikasi, lihat Memulai Replikasi.

Opsi 1: Buat tugas replikasi baru

Menambahkan tabel ke tugas baru adalah pendekatan paling sederhana. Hal ini mencegah pemuatan ulang historis semua tabel dan mencegah masalah inkonsistensi data.

Kelemahannya adalah bertambahnya overhead pengelolaan beberapa tugas replikasi dan konsumsi resource komputasi yang lebih besar, karena setiap tugas berjalan pada cluster Dataproc efemeral terpisah secara default. Hal yang terakhir ini dapat dimitigasi sampai batas tertentu dengan menggunakan cluster Dataproc statis bersama untuk kedua tugas.

Untuk mengetahui informasi selengkapnya tentang cara membuat tugas baru, lihat Tutorial replikasi.

Untuk informasi lebih lanjut tentang menggunakan cluster Dataproc statis di Cloud Data Fusion, lihat Menjalankan pipeline pada cluster Dataproc yang ada

Opsi 2: Hentikan tugas replikasi saat ini dan buat duplikat

Jika Anda menduplikasi tugas replikasi untuk menambahkan tabel, pertimbangkan hal berikut:

  • Mengaktifkan snapshot untuk tugas duplikat akan mengakibatkan pemuatan historis semua tabel dari awal. Opsi ini direkomendasikan jika Anda tidak dapat menggunakan opsi sebelumnya, saat Anda menjalankan tugas terpisah.

  • Menonaktifkan snapshot untuk mencegah pemuatan historis dapat mengakibatkan hilangnya data, karena mungkin ada peristiwa yang terlewat antara saat pipeline lama berhenti dan pipeline baru dimulai. Pembuatan tumpang-tindih untuk memitigasi masalah ini tidak direkomendasikan, karena juga dapat menyebabkan kehilangan data—data historis untuk tabel baru tidak direplikasi.

Untuk membuat tugas replikasi duplikat, ikuti langkah-langkah berikut:

  1. Menghentikan pipeline yang ada.

  2. Dari halaman Tugas replikasi, cari tugas yang ingin Anda duplikasi, klik , lalu Duplicate.

  3. Aktifkan snapshot:

    1. Buka Mengonfigurasi sumber.
    2. Di kolom Replikasi data yang ada, pilih Ya.

  4. Tambahkan tabel di jendela Pilih tabel dan transformasi dan ikuti wizard untuk men-deploy pipeline replikasi.

Langkah selanjutnya