Descripción general del control de flujo de Cloud Data Fusion

Un mecanismo de control de flujo en Cloud Data Fusion evita que envíes demasiados solicitudes, lo que puede provocar que las ejecuciones de canalización se bloqueen o fallen. Este mecanismo se aplica a las solicitudes de inicio (Launch) para las siguientes canalizaciones y trabajos en todas las ediciones de Cloud Data Fusion, versiones 6.6 y posteriores:

  • Canalizaciones por lotes
  • Canalizaciones en tiempo real
  • Trabajos de replicación

Límites

Para controlar la cantidad de solicitudes de inicio pendientes en Cloud Data Fusion, el control de flujo se basa en dos umbrales:

Umbral de lanzamiento
Limita la cantidad de solicitudes de inicio que se realizan. Si la cantidad de solicitudes de inicio que recibió Cloud Data Fusion y que aún no están en el estado Running es mayor que el umbral de inicio (cantidad de solicitudes de inicio que aún no se están ejecutando > umbral de inicio), se rechaza la solicitud. La cifra incluye canalizaciones por lotes, canalizaciones en tiempo real y trabajos de replicación.
Umbral de ejecuciones
Limita la cantidad de solicitudes de inicio pendientes en el sistema. Si la cantidad de solicitudes de lanzamiento pendientes que recibió Cloud Data Fusion y que aún no finalizaron es mayor que un umbral de ejecuciones especificado (cantidad de solicitudes pendientes que aún no finalizaron > umbral de ejecuciones), se rechaza la solicitud.

Solicitudes rechazadas

Si se cumple cualquiera de los umbrales, se rechaza cada solicitud de inicio nueva. Por ejemplo, una canalización por lotes rechazada tiene un estado Rejected en los registros, y un diálogo en la IU describe por qué se rechazó el lanzamiento.

Métricas

Se puede acceder a la cantidad de canalización de lanzamiento y ejecución, junto con la cantidad de canalización rechazada en el sistema, a través del servicio de métricas de la siguiente manera.

Launching métrica

Informa la cantidad de solicitudes de inicio en el sistema. Es decir, informa la cantidad de solicitudes de inicio que están en estados Provisioning o Starting.

Nombre de las métricas: flowcontrol.launching.count

POST /v3/metrics/query?metric=system.flowcontrol.launching.count

Running métrica

Informa la cantidad de trabajos y canalizaciones en ejecución en el sistema. El umbral de ejecución se basa en la suma de los valores de las métricas Launching y Running.

Nombre de las métricas: flowcontrol.running.count

POST /v3/metrics/query?metric=system.flowcontrol.running.count

Rejected métrica

Informa la cantidad de ejecuciones rechazadas debido al mecanismo de control de flujo.

Nombre de las métricas: program.rejected.runs

POST /v3/metrics/query?metric=system.program.rejected.runs

¿Qué sigue?