Praktik terbaik umum saat menggunakan Datastream

Di halaman ini, Anda akan menemukan praktik terbaik untuk menggunakan Datastream. Hal ini mencakup praktik terbaik umum saat menggunakan Datastream.

Mengubah database sumber aliran data

Dalam beberapa kasus, Anda mungkin harus mengubah database sumber streaming. Misalnya, Anda mungkin harus mengubah aliran data untuk direplikasi dari replika, bukan dari instance database utama.

  1. Buat profil koneksi untuk instance replika.
  2. Buat aliran data, menggunakan profil koneksi untuk replika yang Anda buat dan profil koneksi yang ada untuk tujuan.
  3. Mulai streaming dengan pengisian ulang historis dinonaktifkan. Saat dimulai, streaming hanya akan menampilkan data dari log biner.
  4. Opsional. Setelah streaming berjalan, ubah untuk mengaktifkan pengisian ulang otomatis.

  5. Jeda streaming yang membaca dari instance utama.

  6. Opsional. Hapus streaming yang melakukan streaming data dari instance utama.

  7. Opsional. Hapus profil koneksi untuk instance utama.

Pemberitahuan dan pemantauan di Datastream

Dasbor Datastream berisi banyak informasi. Informasi ini dapat berguna untuk tujuan proses debug. Informasi tambahan dapat ditemukan di log, yang tersedia di Cloud Logging.

Notifikasi Datastream

Tidak ada pemberitahuan default yang disiapkan untuk Datastream. Misalnya, Anda dapat membuat kebijakan pemberitahuan untuk metrik Kesegaran data dengan mengklik link Buat kebijakan pemberitahuan di tab Ringkasan. Untuk metrik lainnya, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud, buka halaman  Alerting:

    Buka Pemberitahuan

  2. Klik Create policy.

  3. Klik drop-down Select a metric.

  4. Di kolom filter, masukkan Datastream.

  5. Opsional: Anda mungkin perlu menonaktifkan filter Aktif untuk melihat semua metrik yang tersedia.

  6. Telusuri metrik yang ingin Anda pantau di bagian Aliran Datastream.

  7. Klik Terapkan.

  8. Opsional: Masukkan detail yang diperlukan di bagian Tambahkan filter dan Transformasi data. Klik Berikutnya.

  9. Masukkan informasi yang diperlukan di bagian Configure alert trigger. Klik Next.

  10. Konfigurasikan notifikasi Anda di bagian Konfigurasi notifikasi dan finalisasi pemberitahuan.

  11. Tinjau pemberitahuan Anda, lalu klik Create policy jika sudah siap.

    Untuk mengetahui informasi mendetail tentang cara menyelesaikan setiap langkah ini, lihat Membuat kebijakan pemberitahuan.

Sebaiknya buat pemberitahuan untuk metrik Datastream berikut:

  • Keaktualan data
  • Jumlah peristiwa yang tidak didukung streaming
  • Total latensi streaming

Notifikasi pada salah satu metrik ini dapat menunjukkan masalah pada aliran data atau database sumber.

Berapa banyak tabel yang dapat ditangani oleh satu aliran data?

Sebaiknya satu aliran menyertakan hingga 10.000 tabel. Tidak ada batasan ukuran tabel. Jika Anda perlu membuat streaming dengan lebih banyak tabel, streaming tersebut mungkin akan memasuki status error. Untuk menghindari hal ini, pertimbangkan untuk membagi sumber menjadi beberapa aliran.