Kontrol serentak streaming

Halaman ini menyediakan ringkasan kontrol serentak streaming, seperti jumlah maksimum tugas pengambilan data perubahan serentak (CDC) dan tugas pengisian ulang. Anda dapat mengontrol performa streaming dengan meningkatkan atau mengurangi nilai parameter tersebut.

Ringkasan kontrol serentak

Dengan menggunakan kontrol serentak, Anda dapat mencapai pengisian ulang dan CDC yang lebih cepat, atau menyeimbangkan beban pada database sumber. Jika Anda memerlukan throughput yang lebih tinggi, dan dapat menanggung beban yang lebih tinggi pada database, Anda dapat meningkatkan konkurensi tugas CDC dan pengisian ulang. Sebaliknya, jika database mengalami beban tinggi dan Anda ingin melindunginya agar tidak kelebihan beban, Anda dapat mengurangi nilai parameter ini.

Jumlah maksimum tugas CDC

Parameter maxConcurrentCdcTasks memungkinkan Anda mengontrol jumlah tugas CDC yang dijalankan secara paralel oleh streaming. Untuk memperluas throughput CDC, tingkatkan nilai parameter ini dan izinkan Datastream memproses lebih banyak file log CDC secara bersamaan.

Karakteristik utama parameter ini mencakup:

  • Nilai defaultnya adalah 5. Anda dapat menetapkan parameter ini ke nilai apa pun antara 1 dan 50, inklusif.
  • Parameter ini hanya berlaku untuk sumber Oracle dan MySQL.
  • Parameter ini hanya berdampak jika ada lebih banyak file log database yang tersedia untuk dibaca daripada jumlah tugas CDC. Setelan file log dikontrol oleh parameter konfigurasi database sumber: ukuran file log maksimum dan interval waktu rotasi log maksimum. Untuk mengetahui informasi selengkapnya tentang parameter ini, baca dokumentasi Oracle dan MySQL.
  • Jika Anda mengurangi jumlah tugas CDC serentak, Datastream mungkin tertinggal di belakang log database, yang pada akhirnya dapat menyebabkan hilangnya posisi log dan kegagalan aliran.

Jumlah maksimum tugas pengisian ulang

Parameter maxConcurrentBackfillTasks memungkinkan Anda mengontrol jumlah tugas pengisian ulang yang dapat dijalankan oleh streaming secara paralel. Anda dapat menambah atau mengurangi nilai ini untuk mengontrol throughput pengisian ulang.

Karakteristik utama parameter ini mencakup:

  • Nilai defaultnya adalah 15. Anda dapat menetapkan parameter ini ke nilai apa pun antara 1 dan 50, inklusif.
  • Ada risiko tinggi terkait peningkatan konkurensi pengisian ulang, karena tugas pengisian ulang memiliki dampak yang signifikan pada performa database. Setiap tugas pengisian ulang menjalankan kueri SELECT yang tidak difilter di tabel, dan untuk tabel besar, kueri tersebut menampilkan baris dalam jumlah besar.
  • Jika Anda mengurangi konkurensi pengisian ulang, hal ini tidak akan berdampak negatif pada database sumber, kecuali pengisian ulang yang memerlukan waktu lebih lama untuk diselesaikan.

Mengubah nilai kontrol serentak

Anda dapat mengubah nilai parameter kontrol serentak menggunakan Datastream API.

Langkah selanjutnya

Sebelumnya
Menghapus profil koneksi
Berikutnya
Peristiwa dan feed