Ringkasan kontrol alur Cloud Data Fusion

Mekanisme kontrol alur di Cloud Data Fusion mencegah Anda mengirimkan terlalu banyak permintaan, yang dapat menyebabkan pipeline macet atau gagal berjalan. Mekanisme ini berlaku untuk memulai permintaan (Launch) untuk pipeline dan tugas berikut di semua edisi Cloud Data Fusion, versi 6.6 dan yang lebih baru:

  • Pipeline batch
  • Pipeline real-time
  • Tugas replikasi

Batas

Untuk mengontrol jumlah permintaan mulai yang tertunda di Cloud Data Fusion, kontrol alur bergantung pada dua nilai minimum:

Nilai minimum peluncuran
Membatasi jumlah permintaan peluncuran yang dibuat. Jika jumlah permintaan peluncuran yang diterima oleh Cloud Data Fusion yang belum dalam status Running lebih besar dari nilai minimum peluncuran (jumlah permintaan peluncuran yang belum berjalan > nilai minimum peluncuran), permintaan akan ditolak. Jumlah tersebut mencakup pipeline batch, pipeline real-time, dan tugas replikasi.
Batas berjalan
Membatasi jumlah permintaan peluncuran yang belum selesai di sistem. Jika jumlah permintaan peluncuran yang belum selesai yang diterima oleh Cloud Data Fusion lebih besar dari nilai minimum operasi yang ditentukan (jumlah permintaan yang belum selesai > nilai minimum operasi), permintaan akan ditolak.

Permintaan yang ditolak

Jika salah satu nilai minimum terpenuhi, setiap permintaan mulai baru akan ditolak. Misalnya, pipeline batch yang ditolak memiliki status Rejected dalam log, dan dialog di UI menjelaskan alasan peluncuran ditolak.

Metrik

Jumlah peluncuran dan pengoperasian pipeline beserta jumlah pipeline yang ditolak dalam sistem dapat diakses melalui layanan metrik sebagai berikut.

Metrik Launching

Melaporkan jumlah permintaan peluncuran di sistem. Artinya, laporan ini melaporkan jumlah permintaan peluncuran yang dalam status Provisioning atau Starting.

Nama metrik: flowcontrol.launching.count

POST /v3/metrics/query?metric=system.flowcontrol.launching.count

Metrik Running

Melaporkan jumlah pipeline dan tugas yang berjalan di sistem. Batas eksekusi didasarkan pada jumlah nilai metrik Launching dan Running.

Nama metrik: flowcontrol.running.count

POST /v3/metrics/query?metric=system.flowcontrol.running.count

Metrik Rejected

Melaporkan jumlah operasi yang ditolak karena mekanisme kontrol alur.

Nama metrik: program.rejected.runs

POST /v3/metrics/query?metric=system.program.rejected.runs

Langkah selanjutnya