Detalles de la ejecución

Dataflow proporciona una pestaña Detalles de ejecución en su interfaz de usuario de supervisión basada en la Web. Esta herramienta puede ayudarte a optimizar el rendimiento de tus trabajos y diagnosticar por qué podrían ser lentos o estar atascados. Este documento es para cualquier usuario de Dataflow que necesite inspeccionar los detalles de ejecución de sus trabajos de Dataflow.

En esta página, se proporciona un resumen de alto nivel de lo que puedes usar en esta función y el diseño de la interfaz de usuario. Para obtener detalles sobre la solución de problemas, lee Usa la pestaña Detalles de la ejecución.

Terminología

Para usar los detalles de ejecución de manera efectiva, debes comprender cómo se aplican los siguientes conceptos clave a los trabajos de Dataflow:

  • Optimización de fusión: proceso de Dataflow que usa varios pasos o transformaciones. Esto optimiza las canalizaciones enviadas por los usuarios. Para obtener más información, lee Optimización de fusión.
  • Etapas: unidad de pasos combinados en canalizaciones de Dataflow.
  • Rutas de acceso críticas: secuencia de etapas de una canalización que contribuyeron al entorno de ejecución general del trabajo. Por ejemplo, esta secuencia excluye las siguientes etapas:
    • Ramas de la canalización que finalizaron antes del trabajo general.
    • Entradas que no retrasaron el procesamiento descendente.
  • Trabajadores: instancias de VM de Compute Engine que ejecutan un trabajo de Dataflow.
  • Elementos de trabajo: unidades de trabajo que corresponden a un paquete seleccionado por Dataflow.

Cuándo usar detalles de ejecución

Las siguientes son situaciones comunes para usar los detalles de ejecución cuando ejecutas trabajos de Dataflow:

  • La canalización está atascada y quieres solucionar el problema.
  • La canalización es lenta y quieres optimizarla.
  • No es necesario corregir nada, pero deseas ver los detalles de ejecución de tu canalización para comprender tu trabajo.

Habilita los detalles de la ejecución

La vista Flujo de trabajo por etapas se habilita de forma automática para todos los trabajos por lotes y de transmisión. Para trabajos por lotes, a fin de mostrar información adicional de supervisión dentro de la pestaña Detalles de la ejecución, cuando inicies tu trabajo de Dataflow, pasa el siguiente parámetro:

--experiments=enable_execution_details_collection,use_monitoring_state_manager

Para los trabajos por lotes, esto habilita las vistas Progreso de la etapa y Progreso del trabajador.

Una vez que inicies tu trabajo, podrás ver la pestaña Detalles de ejecución con la IU de supervisión de Dataflow. Para obtener más información, consulta Cómo acceder a la interfaz de supervisión de Dataflow

Cómo se usa la pestaña Detalles de la ejecución

La pestaña Detalles de la ejecución incluye cuatro vistas: Progreso de etapa, Panel lateral (dentro del Progreso de la etapa) Flujo de trabajo de etapa y Progreso del trabajador. En esta sección, se explica cada vista y se proporcionan ejemplos de trabajos por lotes exitosos y fallidos.

Progreso de la etapa

Las vistas del progreso de etapas muestran las etapas de ejecución del trabajo organizadas por sus horas de inicio y finalización. El tiempo se representa con una barra. Por ejemplo, puedes identificar visualmente las etapas de ejecución más largas de una canalización si encuentras la barra más larga.

Debajo de cada barra, puedes encontrar una minigráfico que muestra el progreso de la etapa a lo largo del tiempo. Para destacar las etapas que contribuyeron al entorno de ejecución general del trabajo, haz clic en el botón de activación Ruta crítica.

El panel Información de la etapa muestra una lista de pasos asociados a una etapa y clasificados por un tiempo de muro descendente. Para abrir este panel, coloca el cursor sobre una de las barras y haz clic en Ver detalles.

Un ejemplo de la vista de progreso de la etapa, que muestra una visualización del tiempo para seis etapas de ejecución diferentes. Esta vista también incluye el panel de información de la etapa.

Flujo de trabajo de la etapa

El flujo de trabajo por etapas muestra las etapas de ejecución del trabajo, representadas como un grafo de flujo de trabajo. Para mostrar solo las etapas que contribuyeron directamente al entorno de ejecución general del trabajo, haz clic en el botón de activación Ruta crítica.

Ejemplo de la vista de flujo de trabajo por etapas que muestra la jerarquía de las diferentes etapas de ejecución de un trabajo.

Progreso de los trabajadores

El progreso del trabajador muestra los trabajadores de una etapa en particular. Cada barra se asigna a un elemento de trabajo programado para un trabajador. Puedes encontrar un minigráfico que hace un seguimiento del uso de CPU en un trabajador ubicado debajo de cada trabajador, lo que facilita detectar los problemas de uso insuficiente.

Debido a la densidad de esta visualización, debes filtrar esta vista preseleccionando una etapa. Primero, identifica una etapa en la vista Progreso de la etapa. Coloca el cursor sobre esa etapa y haz clic en Ver trabajadores para ingresar a la vista Progreso del trabajador.

Ejemplo de la vista de progreso del trabajador. Los trabajadores tienen barras y minigráficos que corresponden a la programación de elementos de trabajo y los usos de CPU.

¿Qué sigue?