Panoramica del controllo flusso di Cloud Data Fusion

Un meccanismo di controllo del flusso in Cloud Data Fusion ti impedisce di inviare troppe richieste, il che può causare l'interruzione o il fallimento dell'esecuzione della pipeline. Questo meccanismo si applica alle richieste di avvio (Launch) per le pipeline e i job seguenti in tutti Versioni di Cloud Data Fusion, 6.6 e successive:

• Pipeline batch
• Pipeline in tempo reale
• Job di replica

Soglie

Per controllare il numero di richieste di avvio in sospeso in Cloud Data Fusion, il controllo del flusso si basa su due soglie:

Soglia di lancio

Limita il numero di richieste di avvio effettuate. Se il numero di richieste di lancio ricevute da Cloud Data Fusion che non sono ancora nello stato Running è superiore alla soglia di lancio (numero di richieste di lancio non ancora in esecuzione > soglia di lancio), la richiesta viene rifiutata. La che include pipeline batch, pipeline in tempo reale durante i job di replica.

Soglia di esecuzioni

Limita il numero di richieste di lancio in sospeso in all'interno del sistema. Se il numero di richieste di lancio in sospeso ricevute da Cloud Data Fusion che non sono ancora state completate è superiore a una soglia di esecuzioni specificata (numero di richieste in sospeso che non sono ancora state completate > soglia di esecuzioni), la richiesta viene rifiutata.

Richieste rifiutate

Se viene raggiunta una delle due soglie, ogni nuova richiesta di avvio viene rifiutata. Ad esempio: una pipeline batch rifiutata presenta lo stato Rejected nei log e una finestra di dialogo Nella UI viene spiegato perché il lancio è stato rifiutato.

Metriche

È possibile accedere al numero di pipeline in fase di lancio e in esecuzione, nonché al numero di pipeline rifiutate nel sistema, tramite il servizio di misurazione come segue.

Metrica Launching

Indica il numero di richieste di lancio nel sistema. In altre parole, indica il numero di richieste di lancio in stato Provisioning o Starting.

Nome delle metriche: flowcontrol.launching.count

POST /v3/metrics/query?metric=system.flowcontrol.launching.count

Metrica Running

Indica il numero di pipeline e job in esecuzione nel sistema. La corsa si basa sulla somma dei valori delle metriche Launching e Running.

Nome delle metriche: flowcontrol.running.count

POST /v3/metrics/query?metric=system.flowcontrol.running.count

Metrica Rejected

Segnala il numero di esecuzioni rifiutate a causa del meccanismo di controllo del flusso.

Nome metriche: program.rejected.runs

POST /v3/metrics/query?metric=system.program.rejected.runs

Passaggi successivi

• Per esempi di fornitura di tag e aggregazione della metrica Rejected per diverse pipeline, consulta Microservizi CDAP Metrics.