En esta página se describe cómo usar la pestaña Detalles de ejecución de la interfaz de monitorización de Dataflow.
Información general
Cuando Dataflow ejecuta una tarea, convierte los pasos del flujo de procesamiento en fases. Mientras que cada paso representa una transformación individual, una fase representa una unidad de trabajo que realiza Dataflow. Para optimizar la canalización, Dataflow puede fusionar varios pasos en una sola fase.
La pestaña Detalles de la ejecución de la interfaz de monitorización de Dataflow muestra información sobre las fases de un trabajo. Puede usar la pestaña Detalles de la ejecución para solucionar problemas de rendimiento, como los siguientes:
- Fases lentas que provocan cuellos de botella en el rendimiento
- Fases atascadas que no avanzan
- VMs de trabajador que se quedan atrás con respecto a otros trabajadores
Ver detalles de la ejecución
Para ver los detalles de la ejecución de un trabajo, sigue estos pasos:
En la Google Cloud consola, ve a la página Dataflow > Trabajos.
Selecciona un trabajo.
Haga clic en la pestaña Detalles de la ejecución.
Selecciona una de las siguientes vistas:
- Progreso de fases
- Fase del flujo de trabajo
- Progreso de los trabajadores (solo tareas por lotes)
En las siguientes secciones se describe cada una de estas vistas.
Vista de progreso de fases
La vista Progreso de la fase te permite observar el progreso general de la tarea y comparar el progreso relativo entre las fases. El diseño de la vista Progreso de la fase varía entre los trabajos por lotes y los de streaming.
Progreso de las fases de las tareas por lotes
En el caso de las tareas por lotes, la vista Progreso de la fase muestra las fases de la tarea por orden de hora de inicio. En cada fase, se muestran los siguientes elementos:
- Una barra que muestra las horas de inicio y finalización.
- Un gráfico de líneas que muestra el progreso de la fase a lo largo del tiempo como porcentaje del trabajo total de la fase.
- Tiempo total dedicado a la fase.
Para filtrar las fases que se muestran, haga clic en Filtrar fases. Para ver la ruta crítica, activa Ruta crítica. La ruta crítica es la secuencia de fases que contribuyen al tiempo de ejecución general de la tarea. Por ejemplo, excluye las ramas que terminaron antes que el trabajo en general y las entradas que no retrasaron el procesamiento posterior.
El panel Información de la fase muestra información más detallada sobre una fase. Para ver los detalles de una fase, haz clic en la barra de progreso correspondiente. El panel Información de la etapa muestra la siguiente información sobre una etapa:
- Estado
- Progreso en porcentaje
- Inicio y finalización
- Los pasos de la canalización que abarca esta fase.
- Los pasos más lentos por tiempo real
- Detalles sobre los rezagados
Si el panel no está visible, haz clic en Alternar panel "Información del escenario".
Progreso de las fases de las tareas de streaming
En el caso de las tareas de streaming, la vista Progreso de la fase tiene dos visualizaciones de la actualización de los datos. La actualización de los datos es la diferencia entre la marca de tiempo de un elemento de datos y el momento en que se procesa el elemento. Cuanto más altos sean los valores, más tiempo tardará la canalización en procesar los datos de entrada.
La primera visualización muestra la actualización de los datos por fase en un gráfico de líneas. Para ver la actualización de los datos en un momento concreto, coloca el cursor sobre el gráfico. Para seleccionar el periodo, usa el selector de hora o haz clic en el gráfico y arrastra para seleccionar el periodo. Para filtrar las fases que se muestran, haz clic en Filtrar fases.
El gráfico también destaca las anomalías en los datos:
- Posible lentitud: la actualización de los datos supera el percentil 95 del periodo seleccionado.
- Posible estancamiento: la actualización de los datos supera el percentil 99 del periodo seleccionado.
La segunda visualización muestra las fases como una serie de barras. Las fases se organizan en orden topológico. Las fases sin descendientes se muestran primero, seguidas de sus descendientes. La longitud de las barras representa la actualización de los datos. Para ver los valores de actualización de los datos en un punto concreto, haz clic en el gráfico. Las barras se actualizan para mostrar la antigüedad de los datos en el momento seleccionado.
En la siguiente imagen se muestra una tarea con cuatro fases. En la marca de tiempo seleccionada, la antigüedad de los datos oscila entre 9 y 13 segundos.
En la siguiente imagen se muestra el mismo trabajo con otra marca de tiempo seleccionada. En este punto, la frecuencia de actualización de datos de todas las fases supera los 4 minutos, lo que indica que la canalización podría estar bloqueada.
El panel Información de la fase muestra información más detallada sobre una fase. Para ver los detalles de una fase, haz clic en la barra de progreso correspondiente. El panel Información de la etapa muestra la siguiente información sobre una etapa:
- Estado
- Retraso del sistema: tiempo máximo durante el cual un elemento de datos ha esperado a procesarse.
- Marca de agua de datos: Hora estimada en la que se terminarán de introducir datos en esta fase.
- Detalles sobre los rezagados
- Los pasos de la canalización que abarca esta fase.
Si el panel no está visible, haz clic en Alternar panel "Información del escenario".
Flujo de trabajo de fases
La vista Fases del flujo de trabajo muestra las fases de la tarea en un gráfico del flujo de trabajo. Para ver los detalles de una fase, haz clic en el cuadro correspondiente.
En el caso de las tareas por lotes, haga clic en Ruta crítica para ver solo las fases que contribuyen directamente al tiempo de ejecución general de la tarea.
Progreso de trabajadores
En el caso de las tareas por lotes, la vista Progreso de trabajadores muestra los trabajadores de una fase concreta. Esta vista no está disponible para los trabajos de streaming. Para acceder a esta vista, selecciona Progreso de los trabajadores y, en Filtrar trabajadores por fase, elige la fase que quieras. También puede activar esta vista desde la vista Progreso de la fase de la siguiente manera:
- En la vista Progreso de la fase, identifique la fase que quiera ver.
- Mantén el puntero sobre la barra de esa fase.
- En la tarjeta Fase, haz clic en Ver trabajadores. Se muestra la vista Progreso de trabajadores con la fase preseleccionada.
Cada barra se corresponde con un elemento de trabajo programado para un trabajador. Junto a cada trabajador se encuentra un gráfico de minilíneas que monitoriza el uso de la CPU, lo que facilita la detección de problemas de infrautilización.
Siguientes pasos
- Más información sobre cómo solucionar problemas de las canalizaciones de Dataflow
- Consulta información sobre los diferentes componentes de la interfaz de usuario de monitorización basada en web de Dataflow.