Kontrol konkurensi streaming

Halaman ini memberikan ringkasan kontrol konkurensi streaming, seperti jumlah maksimum tugas pengambilan data perubahan (CDC) serentak dan tugas pengisian ulang. Anda dapat mengontrol performa streaming dengan meningkatkan atau menurunkan nilai parameter ini.

Ringkasan kontrol konkurensi

Dengan menggunakan kontrol serentak, Anda dapat mencapai pengisian ulang dan CDC yang lebih cepat, atau menyeimbangkan beban di database sumber. Jika memerlukan throughput yang lebih tinggi, dan dapat menangani beban yang lebih tinggi pada database, Anda dapat meningkatkan konkurensi tugas CDC dan pengisian ulang. Sebaliknya, jika database Anda mengalami beban yang tinggi, dan Anda ingin melindunginya agar tidak kelebihan beban, Anda dapat mengurangi nilai parameter ini.

Jumlah maksimum tugas CDC

Parameter maxConcurrentCdcTasks memungkinkan Anda mengontrol jumlah tugas CDC yang dijalankan secara paralel oleh streaming. Untuk memperluas throughput CDC, tingkatkan nilai parameter ini dan izinkan Datastream memproses lebih banyak file log CDC secara bersamaan.

Karakteristik utama parameter ini meliputi:

  • Nilai defaultnya adalah 5. Anda dapat menetapkan parameter ini ke nilai apa pun antara 1 dan 50, inklusif.
  • Parameter ini hanya berlaku untuk sumber Oracle dan MySQL.
  • Parameter ini hanya memiliki dampak jika ada lebih banyak file log database yang tersedia untuk dibaca daripada tugas CDC. Setelan file log dikontrol oleh parameter konfigurasi database sumber: ukuran file log maksimum dan interval waktu rotasi log maksimum. Untuk informasi selengkapnya tentang parameter ini, lihat dokumentasi Oracle dan MySQL.
  • Jika Anda mengurangi jumlah tugas CDC serentak, Datastream mungkin tertinggal di belakang log database, yang pada akhirnya dapat menyebabkan hilangnya posisi log dan kegagalan streaming.

Jumlah maksimum tugas pengisian ulang

Parameter maxConcurrentBackfillTasks memungkinkan Anda mengontrol jumlah tugas pengisian ulang yang dapat dijalankan secara paralel oleh aliran data. Anda dapat menaikkan atau menurunkan nilai ini untuk mengontrol throughput pengisian ulang.

Karakteristik utama parameter ini meliputi:

  • Nilai defaultnya adalah 15. Anda dapat menetapkan parameter ini ke nilai apa pun antara 1 dan 50, inklusif.
  • Ada risiko tinggi yang terkait dengan peningkatan konkurensi pengisian ulang, karena tugas pengisian ulang memiliki dampak signifikan pada performa database. Setiap tugas pengisian ulang menjalankan kueri SELECT yang tidak difilter pada tabel, dan untuk tabel besar, kueri tersebut menampilkan banyak baris.
  • Jika Anda mengurangi konkurensi pengisian ulang, hal ini tidak akan berdampak negatif pada database sumber, kecuali pengisian ulang memerlukan waktu lebih lama untuk diselesaikan.

Mengubah nilai kontrol konkurensi

Anda dapat mengubah nilai parameter kontrol serentak menggunakan Datastream API.

Langkah selanjutnya