Panel de control de monitorización de proyectos de Dataflow

La interfaz de monitorización basada en la Web de Dataflow incluye un panel de control que monitoriza tus tareas de Dataflow a nivel de proyecto. Los gráficos muestran los datos de todos los trabajos de un proyecto.

Ir al panel de control

El panel de control puede ayudarte con las siguientes tareas:

  • Detectar e identificar la fuente de los errores de cuota.
  • Detecta el autoescalado horizontal anómalo en un trabajo.
  • Identifica los trabajos de streaming lentos o bloqueados.

El panel de control usa Cloud Monitoring para acceder a las métricas de los trabajos de Dataflow. Para personalizar la información que se muestra en los gráficos, usa el explorador de métricas.

Funciones

El panel de control incluye las siguientes funciones:

  • Elige qué trabajos quieres que aparezcan en el panel de control mediante expresiones regulares.
  • Acceder a la página de detalles de la tarea desde gráficos concretos.
  • Personaliza los widgets y los gráficos del panel de control.

Roles obligatorios

Para obtener el permiso que necesitas para ver los datos del gráfico, pide a tu administrador que te conceda el rol de gestión de identidades y accesos Lector de Monitoring (roles/monitoring.viewer). Para obtener más información sobre cómo conceder roles, consulta el artículo Gestionar el acceso a proyectos, carpetas y organizaciones.

Este rol predefinido contiene el permiso monitoring.timeSeries.list , que es necesario para ver los datos del gráfico.

También puedes obtener este permiso con roles personalizados u otros roles predefinidos.

Acceder al panel de control

Para acceder al panel de control, sigue estos pasos:

  1. Inicia sesión en la consola. Google Cloud
  2. Selecciona tu proyecto de Google Cloud Platform.
  3. Abre el menú de navegación.
  4. En Analytics, haga clic en Dataflow.

  5. En el menú de navegación de flujo de datos, haga clic en Monitorización.

    Ir al panel de control

Métricas del panel de control

De forma predeterminada, en el panel se muestran los siguientes gráficos de serie temporal. Para obtener más información sobre las métricas que se muestran, consulta Métricas de los trabajos.

Los siguientes gráficos se aplican a las tareas por lotes y de streaming:

  • Trabajos en ejecución. Muestra el número de tareas activas que se están ejecutando en el proyecto. Este gráfico indica la actividad general de Dataflow en el proyecto a lo largo del tiempo.
  • Trabajadores por empleo (los 25 primeros). Muestra el número actual de trabajadores de los 25 trabajos más paralelizados. Este gráfico es útil para comprender la asignación de recursos e identificar los trabajos con una carga de trabajo elevada. También puedes ver si los trabajos tienen un comportamiento de escalado inesperado.
  • Recuento total de vCPUs. Muestra el número total de CPUs virtuales (vCPUs) que usan todas las tareas del proyecto. El número total de vCPUs afecta a las cuotas de Compute Engine.
  • vCPUs por trabajo (25 principales). Muestra las 25 tareas que consumen más recursos de vCPU. En este gráfico se destacan los trabajos que pueden ser caros.
  • Recuento total de vCPUs. Muestra un agregado de las vCPUs en uso de todo el proyecto. Este gráfico ofrece una vista general de los recursos de Compute Engine que consumen tus trabajos.
  • Errores de cuota superada. Informa de las instancias en las que se han alcanzado las cuotas de Dataflow o las cuotas de Compute Engine. Este gráfico puede ayudarte a detectar posibles fallos en los trabajos o ralentizaciones en el escalado.

Los siguientes gráficos se aplican a las tareas de streaming:

  • Latencia media del sistema. Muestra la latencia del sistema media, que refleja el retraso habitual que experimentan los datos al pasar por las fases de origen. Este gráfico puede indicar posibles cuellos de botella de entrada. Usa este gráfico para identificar las tareas de streaming que tienen un retraso inusual entre el momento en que los datos aparecen en una fuente y el momento en que se escriben en todos los receptores.
  • Los 25 trabajos principales por latencia del sistema. Muestra las 25 canalizaciones de streaming con la latencia del sistema más alta, que es el tiempo más largo que los datos pasan procesándose o esperando a procesarse. Este gráfico puede indicar posibles cuellos de botella en el procesamiento en tiempo real.
  • Los 25 trabajos principales por latencia de marca de agua de datos por fase (actualización). Muestra los 25 trabajos de streaming con la latencia de marca de agua más alta. El retraso de la marca de agua de una fase es la diferencia entre la hora del último evento recibido por la fase y la marca de agua. Este gráfico puede indicar posibles cuellos de botella en la granularidad por fase. Usa este gráfico para encontrar trabajos de streaming que puedan ser lentos o estar bloqueados. Para obtener más información, consulta Solucionar problemas de trabajos de streaming lentos o bloqueados.
  • Las 25 tareas principales por uso de SECU. Muestra las 25 tareas de streaming que consumen más unidades de computación de Streaming Engine. Usa este gráfico para medir el coste y la intensidad de tus trabajos de streaming que usan la facturación basada en recursos.
  • Las 25 tareas principales por latencia de procesamiento de usuario (por fase). Muestra los 25 trabajos de streaming en los que el código definido por el usuario en las fases de procesamiento tarda más. Usa este gráfico para detectar posibles cuellos de botella del rendimiento en la lógica de tu aplicación.
  • Bytes de backlog máximos (los 25 primeros). Muestra los 25 trabajos de streaming con el mayor volumen de datos sin procesar en cualquier fase. Este gráfico puede indicar una posible sobrecarga de entrada o un procesamiento lento.

Para obtener más información sobre cómo trabajar con gráficos, consulta Examinar datos de gráficos.

Personalizar el panel de control

Puede personalizar el contenido del panel de control y la información que se muestra en los gráficos. Cuando editas el panel de control, se crea uno nuevo y personalizado.

El panel de control usa Cloud Monitoring para acceder a las métricas de los trabajos de Dataflow. Usa las herramientas de Cloud Monitoring para personalizar los gráficos.

  1. Abre el panel de control y haz clic en Personalizar panel de control.
  2. Modifica tu panel de control.
  3. Haz clic en Guardar y, a continuación, en Ver panel de control personalizado.

Después de crear un panel de control personalizado, para volver al panel de control predeterminado, vaya al menú Panel de control y seleccione Predefinido.

Para ver un ejemplo de cómo añadir un gráfico de métricas personalizadas al panel de control, consulta Personalizar el panel de control de monitorización de Dataflow.

Solución de problemas

En esta sección se proporcionan instrucciones para solucionar problemas habituales.

No hay datos disponibles

Cuando abres el panel de control, en uno o varios gráficos se muestra el siguiente mensaje:

No data is available for the selected time frame.

Este mensaje aparece cuando el periodo que abarcan los gráficos no tiene datos. Para solucionar este problema, cambia o amplía el periodo.

Para cambiar el periodo que se muestra, en el gráfico, haga clic en Explorar datos y, a continuación, use el selector de periodo.

No se pueden restaurar los widgets eliminados

Cuando quitas un widget del panel de control, creas un panel de control personalizado. Después de crear un panel de control personalizado, para volver al panel de control predeterminado, vaya al menú Panel de control y seleccione Predefinido.

No se pueden ver los gráficos

Para ver los datos del gráfico, necesitas el permiso monitoring.timeSeries.list. Para obtener más información, consulta Roles obligatorios.

Siguientes pasos