Menambahkan tabel ke tugas replikasi

Setelah men-deploy tugas replikasi, Anda tidak dapat mengedit atau menambahkan tabel ke tugas tersebut. Sebagai gantinya, tambahkan tabel ke tugas replikasi baru atau duplikat.

Opsi 1: Membuat tugas replikasi baru

Menambahkan tabel ke tugas baru adalah pendekatan yang paling sederhana. Hal ini mencegah pemuatan ulang historis semua tabel dan mencegah masalah inkonsistensi data.

Kelemahannya adalah peningkatan overhead dalam mengelola beberapa tugas replikasi dan konsumsi lebih banyak resource komputasi, karena setiap tugas berjalan di cluster Dataproc sementara yang terpisah secara default. Masalah yang terakhir dapat dimitigasi sampai batas tertentu dengan menggunakan cluster Dataproc statis bersama untuk kedua tugas.

Untuk mengetahui informasi selengkapnya tentang cara membuat tugas baru, lihat Tutorial replikasi.

Untuk informasi selengkapnya tentang penggunaan cluster Dataproc statis di Cloud Data Fusion, lihat Menjalankan pipeline pada cluster Dataproc yang ada

Opsi 2: Menghentikan tugas replikasi saat ini dan membuat duplikat

Jika Anda menduplikasi tugas replikasi untuk menambahkan tabel, pertimbangkan hal berikut:

  • Mengaktifkan snapshot untuk tugas duplikat akan menghasilkan pemuatan historis semua tabel dari awal. Hal ini direkomendasikan jika Anda tidak dapat menggunakan opsi sebelumnya, yaitu saat Anda menjalankan tugas terpisah.

  • Menonaktifkan snapshot untuk mencegah pemuatan historis dapat mengakibatkan hilangnya data, karena mungkin ada peristiwa yang terlewat antara saat pipeline lama berhenti dan pipeline baru dimulai. Membuat tumpang-tindih untuk mengurangi masalah ini tidak direkomendasikan, karena juga dapat menyebabkan hilangnya data—data historis untuk tabel baru tidak direplikasi.

Untuk membuat tugas replika duplikat, ikuti langkah-langkah berikut:

  1. Hentikan pipeline yang ada.

  2. Dari halaman Tugas replikasi, temukan tugas yang ingin Anda duplikasi, klik , lalu Duplikasikan.

  3. Aktifkan snapshot:

    1. Buka Konfigurasi sumber.
    2. Di kolom Replicate existing data, pilih Yes.

  4. Tambahkan tabel di jendela Select tables and transformations, lalu ikuti wizard untuk men-deploy pipeline replikasi.

Langkah selanjutnya