Mengelola pengisian ulang untuk objek streaming

Aliran di Datastream dapat mengisi ulang data historis, serta melakukan streaming perubahan yang sedang berlangsung ke tujuan. Sebagai bagian dari pembuatan aliran data, Anda mengonfigurasi informasi tentang database sumber untuk aliran data.

Jika Anda memilih kotak centang Isi ulang data historis, Datastream akan melakukan streaming semua data yang ada, selain perubahan pada data, dari sumber ke tujuan.

Jika Anda tidak mencentang kotak ini, Datastream hanya akan melakukan streaming perubahan pada data. Agar Datastream melakukan streaming snapshot semua data yang ada dari sumber ke tujuan, Anda harus memulai pengisian ulang untuk objek yang berisi data ini. Objek tersebut berupa skema, tabel, dan kolom database.

Alasan lain untuk memulai pengisian ulang untuk objek adalah jika data tidak sinkron antara sumber dan tujuan. Misalnya, pengguna dapat menghapus data di tujuan secara tidak sengaja, dan data tersebut kini hilang. Dalam hal ini, memulai pengisian ulang untuk objek berfungsi sebagai "mekanisme reset" karena semua data di-streaming ke tujuan dalam satu kali proses. Akibatnya, data disinkronkan antara sumber dan tujuan.

Setelah memulai pengisian ulang untuk objek, Anda dapat menghentikan pengisian ulang untuk objek tersebut. Pada contoh di atas, pengguna mengubah skema database, dan skema atau data rusak. Anda tidak ingin skema atau data ini di-streaming ke tujuan, sehingga Anda menghentikan pengisian ulang untuk objek.

Anda juga dapat menghentikan pengisian ulang untuk objek untuk tujuan load balancing. Datastream dapat menjalankan beberapa pengisian ulang secara paralel. Hal ini dapat menambah beban pada sumbernya. Jika bebannya signifikan, hentikan pengisian ulang untuk objek, lalu mulai pengisian ulang untuk objek tersebut, satu per satu.

Status objek

Berbagai status dalam siklus proses memulai dan menghentikan pengisian ulang untuk objek meliputi:

  • Tidak ada status (diwakili di UI sebagai -): Alasan objek menerima status ini mencakup:
    • Streaming belum dimulai.
    • Kotak centang Isi ulang data historis tidak dipilih (sehingga pengisian ulang ditentukan sebagai manual).
    • Objek dikecualikan secara eksplisit agar tidak diisi ulang secara otomatis.

    • Streaming dikonfigurasi untuk menyertakan tabel mendatang. Jika hal ini terjadi, saat tabel baru ditambahkan ke sumber, tidak ada tugas pengisian ulang otomatis yang dibuat untuk tabel tersebut (karena tabel baru biasanya tidak memiliki data "historis" untuk diisi ulang).

      Untuk informasi selengkapnya, lihat Mengonfigurasi informasi tentang database sumber untuk aliran data.

  • Pending: Pengisian ulang belum dimulai untuk objek.
  • Pengisian ulang Active: sedang berlangsung untuk objek.
  • Completed: Pengisian ulang selesai untuk objek.
  • Stopped: Pengisian ulang dihentikan untuk objek. Jika pengisian ulang dimulai lagi untuk objek, Datastream akan melakukan streaming semua data yang ada yang terkait dengan objek dari sumber ke tujuan.
  • Failed: Pengisian ulang gagal untuk objek dan pengisian ulang harus dimulai lagi.

Memulai pengisian ulang

  1. Buka halaman Streams di Konsol Google Cloud.

    Buka halaman Forum

  2. Klik aliran data yang berisi objek yang ingin Anda mulai isi ulang.

  3. Klik tab OBJECTS.

  4. Centang kotak untuk setiap objek yang ingin Anda mulai isi ulang.

  5. Klik MULAI PENGISIAN ULANG.

  6. Jika Anda hanya memilih satu objek, klik MULAI PENGISIAN ULANG OBJEK di dialog. Atau, jika Anda memilih beberapa objek, klik MULAI PENGISIAN ULANG OBJEK.

    Datastream akan mulai mengisi ulang untuk objek yang Anda pilih, dan status setiap objek akan berubah dari Pending menjadi Active menjadi Completed. Jika objek memiliki status Completed, artinya Datastream telah membaca semua data untuk objek tersebut, tetapi data mungkin masih dimuat ke tujuan.

Menghentikan pengisian ulang

  1. Buka halaman Streams di Konsol Google Cloud.

    Buka halaman Forum

  2. Klik aliran data yang berisi objek yang ingin Anda hentikan pengisian ulangnya.

  3. Klik tab OBJECTS.

  4. Centang kotak untuk setiap objek yang pengisian ulangnya ingin Anda hentikan.

  5. Klik STOP BACKFILL.

  6. Jika Anda hanya memilih satu objek, di kotak dialog, klik STOP OBJECT BACKFILL. Atau, jika Anda memilih beberapa objek, klik BERHENTI PENGISIAN KEMBALI OBJEK.

    Datastream akan berhenti mengisi ulang untuk objek yang Anda pilih, dan status setiap objek akan berubah menjadi Stopped.

    Jika objek memiliki status ini, pengisian ulang akan dihentikan untuk objek tersebut. Jika pengisian ulang dimulai lagi untuk objek, Datastream akan melakukan streaming semua data yang ada yang terkait dengan objek dari sumber ke tujuan.

Langkah selanjutnya