Descripción general del control de flujo de Cloud Data Fusion

Un mecanismo de control de flujo en Cloud Data Fusion te impide enviar demasiadas solicitudes, lo que puede provocar ejecuciones de canalización estancadas o fallidas. Este mecanismo se aplica para iniciar (Launch) solicitudes de las siguientes canalizaciones y trabajos en todas las ediciones de Cloud Data Fusion, versiones 6.6 y posteriores:

  • Canalizaciones por lotes
  • Canalizaciones en tiempo real
  • Trabajos de replicación

Umbrales

Para controlar la cantidad de solicitudes de inicio pendientes en Cloud Data Fusion, el control de flujo se basa en dos umbrales:

Límite de lanzamiento
Limita la cantidad de solicitudes de inicio que se realizan. Si la cantidad de solicitudes de inicio que recibe Cloud Data Fusion y que aún no están en estado Running es mayor que el umbral de lanzamiento (cantidad de solicitudes de lanzamiento que aún no están en ejecución), la solicitud se rechaza. La cantidad incluye canalizaciones por lotes, canalizaciones en tiempo real y trabajos de replicación.
Ejecuta el umbral
Limita la cantidad de solicitudes de inicio pendientes en el sistema. Si la cantidad de solicitudes de lanzamiento pendientes recibidas por Cloud Data Fusion que aún no finalizó es superior a un límite de ejecuciones especificado (cantidad de solicitudes pendientes que aún no terminaron) se rechaza.

Solicitudes rechazadas

Si se alcanza cualquiera de los umbrales, se rechaza cada solicitud de inicio nueva. Por ejemplo, una canalización por lotes rechazada tiene un estado Rejected en los registros, y un diálogo en la IU describe por qué se rechazó el lanzamiento.

Métricas

Se puede acceder a la cantidad de canalizaciones de inicio y ejecución junto con la cantidad de canalizaciones rechazadas en el sistema a través del servicio de métricas de la siguiente manera.

Launching métrica

Informa el número de solicitudes de inicio del sistema. Es decir, informa la cantidad de solicitudes de inicio que se encuentran en los estados Provisioning o Starting.

Nombre de las métricas: flowcontrol.launching.count

POST /v3/metrics/query?metric=system.flowcontrol.launching.count

Running métrica

Informa la cantidad de canalizaciones y trabajos en ejecución en el sistema. El umbral de ejecución se basa en la suma de los valores de las métricas Launching y Running.

Nombre de las métricas: flowcontrol.running.count

POST /v3/metrics/query?metric=system.flowcontrol.running.count

Rejected métrica

Informa la cantidad de ejecuciones rechazadas debido al mecanismo de control de flujo.

Nombre de las métricas: program.rejected.runs

POST /v3/metrics/query?metric=system.program.rejected.runs

Próximos pasos