Descripción general del control de flujo de Cloud Data Fusion

Un mecanismo de control de flujo en Cloud Data Fusion te impide enviar demasiadas solicitudes, lo que puede causar ejecuciones de canalización estancadas o fallidas. Este mecanismo se aplica al inicio de solicitudes (Launch) para las siguientes canalizaciones y trabajos en todas las ediciones de Cloud Data Fusion, versiones 6.6 y posteriores:

  • Canalizaciones por lotes
  • Canalizaciones en tiempo real
  • Trabajos de replicación

Umbrales

Para controlar la cantidad de solicitudes de inicio pendientes en Cloud Data Fusion, el control de flujo se basa en dos umbrales:

Umbral de lanzamiento
Limita la cantidad de solicitudes de inicio que se realizan. Si la cantidad de solicitudes de inicio que recibe Cloud Data Fusion y que aún no se encuentran en estado Running es mayor que el umbral de inicio (cantidad de solicitudes de inicio que aún no se están ejecutando > umbral de inicio), se rechaza la solicitud. Incluye canalizaciones por lotes, canalizaciones en tiempo real y trabajos de replicación.
Umbral de ejecuciones
Limita la cantidad de solicitudes de inicio pendientes en el sistema. Si la cantidad de solicitudes de inicio pendientes que recibe Cloud Data Fusion y que aún no finalizó es mayor que un límite de ejecuciones especificado (cantidad de solicitudes pendientes que aún no se completaron > límite de ejecuciones), se rechaza la solicitud.

Solicitudes rechazadas

Si se alcanza cualquiera de los límites, se rechazan todas las solicitudes de inicio nuevas. Por ejemplo, una canalización por lotes rechazada tiene el estado Rejected en los registros, y un diálogo en la IU describe por qué se rechazó el inicio.

Métricas

Se puede acceder a la cantidad de canalizaciones de inicio y ejecución junto con la cantidad de canalizaciones rechazadas en el sistema a través del servicio de métricas de la siguiente manera.

Launching métrica

Informa la cantidad de solicitudes de lanzamiento en el sistema. Es decir, informa la cantidad de solicitudes de inicio que tienen el estado Provisioning o Starting.

Nombre de las métricas: flowcontrol.launching.count

POST /v3/metrics/query?metric=system.flowcontrol.launching.count

Running métrica

Informa la cantidad de canalizaciones y trabajos en ejecución en el sistema. El umbral de ejecución se basa en la suma de los valores de las métricas Launching y Running.

Nombre de las métricas: flowcontrol.running.count

POST /v3/metrics/query?metric=system.flowcontrol.running.count

Rejected métrica

Informa la cantidad de ejecuciones rechazadas debido al mecanismo de control de flujo.

Nombre de las métricas: program.rejected.runs

POST /v3/metrics/query?metric=system.program.rejected.runs

¿Qué sigue?