Panoramica del controllo del flusso di Cloud Data Fusion

Un meccanismo di controllo del flusso in Cloud Data Fusion impedisce di inviare troppe richieste, il che può causare esecuzioni delle pipeline bloccate o non riuscite. Questo meccanismo si applica alle richieste di avvio (Launch) per le pipeline e i job seguenti in tutte le versioni di Cloud Data Fusion, 6.6 e successive:

  • Pipeline batch
  • Pipeline in tempo reale
  • Job di replica

Soglie

Per controllare il numero di richieste di avvio in sospeso in Cloud Data Fusion, il controllo del flusso si basa su due soglie:

Soglia di lancio
Limita il numero di richieste di avvio effettuate. Se il numero di richieste di lancio ricevute da Cloud Data Fusion non ancora in stato Running è superiore alla soglia di lancio (numero di richieste di avvio non ancora in esecuzione > soglia di lancio), la richiesta viene rifiutata. Il numero include pipeline batch, pipeline in tempo reale e job di replica.
Soglia di esecuzioni
Limita il numero di richieste di lancio in sospeso nel sistema. Se il numero di richieste di lancio in sospeso ricevute da Cloud Data Fusion e non ancora terminate è superiore a una soglia di esecuzioni specificata (numero di richieste in sospeso non ancora terminate > soglia di esecuzioni), la richiesta viene rifiutata.

Richieste rifiutate

Se viene raggiunta una delle soglie, ogni nuova richiesta di avvio viene rifiutata. Ad esempio, una pipeline batch rifiutata ha lo stato Rejected nei log, mentre una finestra di dialogo nell'interfaccia utente descrive perché l'avvio è stato rifiutato.

Metriche

Il numero di pipeline in esecuzione e di avvio e il numero di pipeline rifiutate nel sistema sono accessibili tramite il servizio delle metriche, come indicato di seguito.

Metrica Launching

Indica il numero di richieste di avvio nel sistema. In altre parole, segnala il numero di richieste di avvio che si trovano nello stato Provisioning o Starting.

Nome metriche: flowcontrol.launching.count

POST /v3/metrics/query?metric=system.flowcontrol.launching.count

Metrica Running

Indica il numero di pipeline e job in esecuzione nel sistema. La soglia di esecuzione si basa sulla somma dei valori delle metriche Launching e Running.

Nome metriche: flowcontrol.running.count

POST /v3/metrics/query?metric=system.flowcontrol.running.count

Metrica Rejected

Indica il numero di esecuzioni rifiutate a causa del meccanismo di controllo del flusso.

Nome metriche: program.rejected.runs

POST /v3/metrics/query?metric=system.program.rejected.runs

Passaggi successivi