Descripción general del control de flujo de Cloud Data Fusion

Un mecanismo de control de flujo en Cloud Data Fusion evita que envíes demasiados solicitudes, lo que puede provocar que las ejecuciones de canalización se bloqueen o fallen. Este mecanismo se aplica a las solicitudes de inicio (Launch) de las siguientes canalizaciones y trabajos en todas las ediciones de Cloud Data Fusion, versiones 6.6 y posteriores:

  • Canalizaciones por lotes
  • Canalizaciones en tiempo real
  • Trabajos de replicación

Límites

Para controlar la cantidad de solicitudes de inicio pendientes en Cloud Data Fusion, el control de flujo se basa en dos umbrales:

Umbral de lanzamiento
Limita la cantidad de solicitudes de inicio que se realizan. Si la cantidad de solicitudes de inicio que recibió Cloud Data Fusion y que aún no están en estado Running es mayor que el umbral de inicio (cantidad de solicitudes de inicio que aún no se están ejecutando > umbral de inicio), se rechaza la solicitud. El incluye canalizaciones por lotes, canalizaciones en tiempo real y trabajos de replicación.
Umbral de ejecuciones
Limita la cantidad de solicitudes de inicio pendientes en el sistema. Si la cantidad de solicitudes de inicio pendientes recibidas por Las instancias de Cloud Data Fusion que aún no finalizan son mayores que las especificadas umbral de ejecuciones (cantidad de solicitudes pendientes que aún no han finalizado > ejecuciones límite), se rechaza la solicitud.

Solicitudes rechazadas

Si se alcanza cualquiera de estos umbrales, se rechazan todas las solicitudes de inicio nuevas. Por ejemplo, una canalización por lotes rechazada tiene un estado Rejected en los registros, y un diálogo en la IU describe por qué se rechazó el lanzamiento.

Métricas

La cantidad de canalizaciones de inicio y ejecución junto con la cantidad de canalizaciones rechazadas se puede acceder a las canalizaciones del sistema con el servicio de métricas de la siguiente manera.

Launching métrica

Informa la cantidad de solicitudes de inicio en el sistema. Es decir, informa la La cantidad de solicitudes de inicio que están en estados Provisioning o Starting.

Nombre de las métricas: flowcontrol.launching.count

POST /v3/metrics/query?metric=system.flowcontrol.launching.count

Running métrica

Informa la cantidad de canalizaciones y trabajos en ejecución en el sistema. El umbral de ejecución se basa en la suma de los valores de las métricas Launching y Running.

Nombre de las métricas: flowcontrol.running.count

POST /v3/metrics/query?metric=system.flowcontrol.running.count

Rejected métrica

Informa la cantidad de ejecuciones rechazadas debido al mecanismo de control de flujo.

Nombre de las métricas: program.rejected.runs

POST /v3/metrics/query?metric=system.program.rejected.runs

¿Qué sigue?