Un meccanismo di controllo del flusso in Cloud Data Fusion ti impedisce di inviare troppe richieste, il che può causare l'interruzione o il fallimento dell'esecuzione della pipeline. Questo meccanismo si applica alle richieste di avvio (Launch) per le seguenti pipeline e job in tutte le versioni di Cloud Data Fusion, dalla versione 6.6 in poi:
- Pipeline batch
- Pipeline in tempo reale
- Job di replica
Soglie
Per controllare il numero di richieste di avvio in sospeso in Cloud Data Fusion, il controllo del flusso si basa su due soglie:
- Soglia di lancio
- Limita il numero di richieste di lancio effettuate. Se il numero di richieste di lancio ricevute da Cloud Data Fusion che non sono ancora nello stato
Runningè superiore alla soglia di lancio (numero di richieste di lancio non ancora in esecuzione > soglia di lancio), la richiesta viene rifiutata. Il numero include pipeline batch, pipeline in tempo reale e job di replica. - Soglia di esecuzioni
- Limita il numero di richieste di lancio in sospeso nel sistema. Se il numero di richieste di lancio in sospeso ricevute da Cloud Data Fusion che non sono ancora state completate è superiore a una soglia di esecuzioni specificata (numero di richieste in sospeso che non sono ancora state completate > soglia di esecuzioni), la richiesta viene rifiutata.
Richieste rifiutate
Se viene raggiunta una delle due soglie, ogni nuova richiesta di avvio viene rifiutata. Ad esempio,
una pipeline batch rifiutata ha uno stato Rejected nei log e una finestra di dialogo
nella UI descrive il motivo del rifiuto del lancio.
Metriche
È possibile accedere al numero di pipeline in fase di lancio e in esecuzione, nonché al numero di pipeline rifiutate nel sistema, tramite il servizio di misurazione come segue.
Metrica Launching
Indica il numero di richieste di lancio nel sistema. In altre parole, indica il
numero di richieste di lancio in stato Provisioning o Starting.
Nome delle metriche: flowcontrol.launching.count
POST /v3/metrics/query?metric=system.flowcontrol.launching.count
Metrica Running
Indica il numero di pipeline e job in esecuzione nel sistema. La soglia di esecuzione si basa sulla somma dei valori delle metriche Launching e Running.
Nome delle metriche: flowcontrol.running.count
POST /v3/metrics/query?metric=system.flowcontrol.running.count
Metrica Rejected
Segnala il numero di esecuzioni rifiutate a causa del meccanismo di controllo del flusso.
Nome delle metriche: program.rejected.runs
POST /v3/metrics/query?metric=system.program.rejected.runs
Passaggi successivi
- Per esempi di fornitura di tag e aggregazione della metrica
Rejectedper diverse pipeline, consulta Microservizi CDAP Metrics.