Descripción general del control de flujo de Cloud Data Fusion

Un mecanismo de control de flujo de Cloud Data Fusion evita que envíes demasiadas solicitudes, lo que puede provocar que las ejecuciones de la canalización se bloqueen o fallen. Este mecanismo se aplica a las solicitudes de inicio (Launch) de los siguientes flujos de procesamiento y trabajos en todas las ediciones de Cloud Data Fusion, versiones 6.6 y posteriores:

  • Flujos de procesamiento por lotes
  • Pipelines en tiempo real
  • Tareas de replicación

Umbrales

Para controlar el número de solicitudes de inicio pendientes en Cloud Data Fusion, el control de flujo se basa en dos umbrales:

Umbral de lanzamiento
Limita el número de solicitudes de lanzamiento que se realizan. Si el número de solicitudes de inicio recibidas por Cloud Data Fusion que aún no están en estado Running es superior al umbral de inicio (número de solicitudes de inicio que aún no se están ejecutando > umbral de inicio), la solicitud se rechaza. El número incluye flujos de procesamiento por lotes, flujos de procesamiento en tiempo real y tareas de replicación.
Umbral de ejecuciones
Limita el número de solicitudes de inicio pendientes en el sistema. Si el número de solicitudes de lanzamiento pendientes recibidas por Cloud Data Fusion que aún no han finalizado es superior a un umbral de ejecuciones especificado (número de solicitudes pendientes que aún no han finalizado > umbral de ejecuciones), la solicitud se rechaza.

Solicitudes rechazadas

Si se alcanza alguno de los umbrales, se rechaza cada nueva solicitud de inicio. Por ejemplo, una canalización por lotes rechazada tiene el estado Rejected en los registros y un cuadro de diálogo en la interfaz de usuario describe por qué se ha rechazado el lanzamiento.

Métricas

Se puede acceder al número de pipelines que se inician y se ejecutan, así como al número de pipelines rechazados en el sistema, a través del servicio de métricas de la siguiente manera.

Launching Métrica

Informa del número de solicitudes de lanzamiento en el sistema. Es decir, indica el número de solicitudes de inicio que tienen el estado Provisioning o Starting.

Nombre de la métrica: flowcontrol.launching.count

POST /v3/metrics/query?metric=system.flowcontrol.launching.count

Running Métrica

Informa del número de canalizaciones y trabajos en ejecución del sistema. El umbral de ejecución se basa en la suma de los valores de las métricas Launching y Running.

Nombre de la métrica: flowcontrol.running.count

POST /v3/metrics/query?metric=system.flowcontrol.running.count

Rejected Métrica

Informa del número de ejecuciones rechazadas debido al mecanismo de control de flujo.

Nombre de la métrica: program.rejected.runs

POST /v3/metrics/query?metric=system.program.rejected.runs

Siguientes pasos