Un mecanismo de control de flujo en Cloud Data Fusion te impide enviar demasiadas solicitudes, lo que puede causar ejecuciones de canalización estancadas o fallidas. Este mecanismo se aplica al inicio de solicitudes (Launch
) para las siguientes canalizaciones y trabajos en todas las ediciones de Cloud Data Fusion, versiones 6.6 y posteriores:
- Canalizaciones por lotes
- Canalizaciones en tiempo real
- Trabajos de replicación
Umbrales
Para controlar la cantidad de solicitudes de inicio pendientes en Cloud Data Fusion, el control de flujo se basa en dos umbrales:
- Umbral de lanzamiento
- Limita la cantidad de solicitudes de inicio que se realizan. Si la cantidad de solicitudes de inicio que recibe Cloud Data Fusion y que aún no se encuentran en estado
Running
es mayor que el umbral de inicio (cantidad de solicitudes de inicio que aún no se están ejecutando > umbral de inicio), se rechaza la solicitud. Incluye canalizaciones por lotes, canalizaciones en tiempo real y trabajos de replicación. - Umbral de ejecuciones
- Limita la cantidad de solicitudes de inicio pendientes en el sistema. Si la cantidad de solicitudes de inicio pendientes que recibe Cloud Data Fusion y que aún no finalizó es mayor que un límite de ejecuciones especificado (cantidad de solicitudes pendientes que aún no se completaron > límite de ejecuciones), se rechaza la solicitud.
Solicitudes rechazadas
Si se alcanza cualquiera de los límites, se rechazan todas las solicitudes de inicio nuevas. Por ejemplo, una canalización por lotes rechazada tiene el estado Rejected
en los registros, y un diálogo en la IU describe por qué se rechazó el inicio.
Métricas
Se puede acceder a la cantidad de canalizaciones de inicio y ejecución junto con la cantidad de canalizaciones rechazadas en el sistema a través del servicio de métricas de la siguiente manera.
Launching
métrica
Informa la cantidad de solicitudes de lanzamiento en el sistema. Es decir, informa la cantidad de solicitudes de inicio que tienen el estado Provisioning
o Starting
.
Nombre de las métricas: flowcontrol.launching.count
POST /v3/metrics/query?metric=system.flowcontrol.launching.count
Running
métrica
Informa la cantidad de canalizaciones y trabajos en ejecución en el sistema. El umbral de ejecución se basa en la suma de los valores de las métricas Launching
y Running
.
Nombre de las métricas: flowcontrol.running.count
POST /v3/metrics/query?metric=system.flowcontrol.running.count
Rejected
métrica
Informa la cantidad de ejecuciones rechazadas debido al mecanismo de control de flujo.
Nombre de las métricas: program.rejected.runs
POST /v3/metrics/query?metric=system.program.rejected.runs
¿Qué sigue?
- Si deseas ver ejemplos de cómo proporcionar etiquetas y agregar la métrica
Rejected
para diferentes canalizaciones, consulta Microservicios de métricas de CDAP.