Un meccanismo di controllo del flusso in Cloud Data Fusion impedisce di inviare troppe richieste, il che può causare esecuzioni delle pipeline bloccate o non riuscite. Questo meccanismo si applica alle richieste di avvio (Launch
) per le pipeline e i job seguenti in tutte le versioni di Cloud Data Fusion, 6.6 e successive:
- Pipeline batch
- Pipeline in tempo reale
- Job di replica
Soglie
Per controllare il numero di richieste di avvio in sospeso in Cloud Data Fusion, il controllo del flusso si basa su due soglie:
- Soglia di lancio
- Limita il numero di richieste di avvio effettuate. Se il numero di richieste di lancio ricevute da Cloud Data Fusion non ancora in stato
Running
è superiore alla soglia di lancio (numero di richieste di avvio non ancora in esecuzione > soglia di lancio), la richiesta viene rifiutata. Il numero include pipeline batch, pipeline in tempo reale e job di replica. - Soglia di esecuzioni
- Limita il numero di richieste di lancio in sospeso nel sistema. Se il numero di richieste di lancio in sospeso ricevute da Cloud Data Fusion e non ancora terminate è superiore a una soglia di esecuzioni specificata (numero di richieste in sospeso non ancora terminate > soglia di esecuzioni), la richiesta viene rifiutata.
Richieste rifiutate
Se viene raggiunta una delle soglie, ogni nuova richiesta di avvio viene rifiutata. Ad esempio,
una pipeline batch rifiutata ha lo stato Rejected
nei log, mentre una finestra di dialogo
nell'interfaccia utente descrive perché l'avvio è stato rifiutato.
Metriche
Il numero di pipeline in esecuzione e di avvio e il numero di pipeline rifiutate nel sistema sono accessibili tramite il servizio delle metriche, come indicato di seguito.
Metrica Launching
Indica il numero di richieste di avvio nel sistema. In altre parole, segnala il
numero di richieste di avvio che si trovano nello stato Provisioning
o Starting
.
Nome metriche: flowcontrol.launching.count
POST /v3/metrics/query?metric=system.flowcontrol.launching.count
Metrica Running
Indica il numero di pipeline e job in esecuzione nel sistema. La soglia di esecuzione si basa sulla somma dei valori delle metriche Launching
e Running
.
Nome metriche: flowcontrol.running.count
POST /v3/metrics/query?metric=system.flowcontrol.running.count
Metrica Rejected
Indica il numero di esecuzioni rifiutate a causa del meccanismo di controllo del flusso.
Nome metriche: program.rejected.runs
POST /v3/metrics/query?metric=system.program.rejected.runs
Passaggi successivi
- Per esempi su come fornire tag e aggregare la metrica
Rejected
per pipeline diverse, consulta Microservizi per le metriche CDAP.