Mengelola pengisian ulang untuk objek aliran data

Ringkasan

Aliran data di Datastream dapat mengisi ulang data historis, serta mengalirkan perubahan yang sedang berlangsung ke tujuan. Sebagai bagian dari pembuatan aliran data, Anda telah mengonfigurasi informasi tentang database sumber untuk aliran data tersebut.

Jika Anda mencentang kotak Isi ulang data historis, Aliran data akan mengalirkan semua data yang ada, selain perubahan pada data, dari sumber ke tujuan.

Jika Anda tidak mencentang kotak ini, maka Datastream hanya akan mengalirkan perubahan pada data. Agar Datastream dapat mengalirkan snapshot semua data yang ada dari sumber ke tujuan, Anda harus memulai pengisian ulang untuk objek yang berisi data ini. Objek tersebut tersedia dalam bentuk skema, tabel, dan kolom database.

Alasan lain untuk memulai pengisian ulang objek adalah jika data tidak sinkron antara sumber dan tujuan. Misalnya, pengguna dapat menghapus data di tujuan secara tidak sengaja, dan data tersebut kini hilang. Dalam hal ini, memulai pengisian ulang untuk objek berfungsi sebagai "mekanisme reset" karena semua data di-streaming ke tujuan dalam satu kesempatan. Akibatnya, data disinkronkan antara sumber dan tujuan.

Setelah memulai pengisian ulang untuk sebuah objek, Anda dapat menghentikan pengisian ulang untuk objek tersebut. Pada contoh di atas, pengguna mengubah skema database, dan skema atau data rusak. Anda tidak ingin skema atau data ini di-streaming ke tujuan, sehingga Anda menghentikan pengisian ulang objek.

Anda juga dapat menghentikan pengisian ulang objek untuk tujuan load balancing. Datastream dapat menjalankan beberapa pengisian ulang secara paralel. Hal ini dapat menambah beban pada sumbernya. Jika bebannya signifikan, hentikan pengisian ulang untuk objek, lalu mulai pengisian ulang untuk objek tersebut, satu per satu.

Status objek

Berbagai status dalam siklus proses memulai dan menghentikan pengisian ulang untuk sebuah objek meliputi:

• Tidak ada status (diwakili di UI sebagai -): Alasan objek menerima status ini meliputi:
  • Streaming belum dimulai.
  • Kotak Isi ulang data historis tidak dicentang (sehingga pengisian ulang ditetapkan sebagai manual).
  • Objek dikecualikan secara eksplisit agar tidak diisi ulang secara otomatis.

  • Aliran data dikonfigurasi untuk menyertakan tabel yang akan datang. Jika hal ini terjadi, saat tabel baru ditambahkan ke sumber, tidak ada tugas pengisian ulang otomatis yang dibuat untuk tabel tersebut (karena tabel baru biasanya tidak memiliki data "historis" untuk diisi ulang).

    Untuk mengetahui informasi lebih lanjut, lihat Mengonfigurasi informasi tentang database sumber untuk aliran data.

• Pengisian ulang Pending: belum dimulai untuk objek.
• Pengisian ulang Active: sedang berlangsung untuk objek.
• Pengisian ulang Completed: selesai untuk objek.
• Pengisian ulang Stopped: dihentikan untuk objek. Jika pengisian ulang dimulai lagi untuk objek, Datastream akan mengalirkan semua data yang ada yang terkait dengan objek dari sumber ke tujuan.
• Failed: Pengisian ulang untuk objek gagal dan pengisian ulang harus dimulai lagi.

Mulai pengisian ulang

1. Buka halaman Forum di Konsol Google Cloud.

   Buka halaman Forum

2. Klik aliran data yang berisi objek yang isi ulangnya ingin Anda mulai.

3. Klik tab PENOLAKAN.

4. Pilih kotak centang untuk setiap objek yang isi ulangnya ingin Anda mulai.

5. Klik MULAI PENGIRIMAN BALIK.

   Jika objek memiliki status Pending atau Active, Anda tidak dapat memulai pengisian ulang untuk objek tersebut.

6. Jika Anda hanya memilih satu objek, maka di kotak dialog, klik ISI BALIK TUJUAN INITIATE. Jika tidak, jika Anda memilih beberapa objek, lalu klik INITIATE TEKS TAMBAHAN TUJUAN.

   Datastream akan memulai pengisian ulang untuk objek yang Anda pilih, dan status setiap objek akan berubah dari Pending menjadi Active menjadi Completed. Jika objek memiliki status Completed, pengisian ulang telah selesai untuk objek tersebut.

   Jika objek memiliki status Failed, pengisian ulang untuk objek tersebut akan gagal, dan Anda harus memulai pengisian ulang kembali.

Hentikan pengisian ulang

1. Buka halaman Forum di Konsol Google Cloud.

   Buka halaman Forum

2. Klik aliran data yang berisi objek yang isi ulangnya ingin Anda hentikan.

3. Klik tab PENOLAKAN.

4. Pilih kotak centang untuk setiap objek yang isi ulangnya ingin Anda hentikan.

5. Klik HENTIKAN KEMBALI ISI.

   Jika objek memiliki status Completed, Stopped, atau Failed, Anda tidak dapat menghentikan pengisian ulang untuk objek tersebut.

6. Jika Anda hanya memilih satu objek, maka pada kotak dialog, klik HENTIKAN KEMBALI TEKS TUJUAN. Atau, jika Anda memilih beberapa objek, kemudian klik HENTIKAN BACKFILL TUJUAN.

   Datastream akan menghentikan pengisian ulang untuk objek yang Anda pilih, dan status setiap objek akan berubah menjadi Stopped.

   Jika objek memiliki status ini, pengisian ulang akan dihentikan untuk objek tersebut. Jika pengisian ulang dimulai lagi untuk objek, Datastream akan mengalirkan semua data yang ada yang terkait dengan objek dari sumber ke tujuan.

Anda juga dapat menggunakan tab PENOLAKAN untuk melihat informasi tambahan tentang objek aliran. Informasi ini mencakup:

• Status objek.
• Jumlah peristiwa yang diproses Datastream dan dimuat ke tujuan untuk objek dalam 7 hari terakhir.
• Ukuran total (dalam GB) semua peristiwa yang diproses dan dimuat oleh Datastream ke tujuan untuk sebuah objek dalam 30 hari terakhir.
• Detail tentang kolom tabel skema database yang di-streaming dari sumber ke tujuan.