Usa Monitoring para las canalizaciones de Dataflow

Cloud Monitoring proporciona registros y diagnósticos eficaces. La integración de Dataflow con Monitoring te permite acceder a métricas de trabajo de Dataflow, como Estado del trabajo, Cantidad de elementos, Retraso del sistema (para trabajos de transmisión) y Contadores de usuarios, desde los paneles de Monitoring. También puedes emplear funciones de alertas de Monitoring para notificarte sobre diversas condiciones, como un retraso prolongado del sistema de transmisión o trabajos con errores.

Antes de comenzar

Sigue una de las guías de inicio rápido para configurar tu proyecto de Dataflow, y construir y ejecutar tu canalización.

Métricas personalizadas

Nota: Dataflow informará a Monitoring sobre cualquier métrica definida en una canalización de Apache Beam como una métrica personalizada. Existen tres tipos de métricas de canalización de Apache Beam: Counter, Distribution y Gauge. Actualmente, Dataflow solo informa Counter y Distribution a Monitoring. Distribution se informa como cuatro submétricas que llevan los sufijos _MAX, _MIN, _MEAN y _COUNT. Dataflow no admite la creación de un histograma a partir de métricas de Distribution.

Dataflow informa actualizaciones incrementales a Monitoring cada 30 segundos, aproximadamente. Todas las métricas de los usuarios se exportan como un tipo de datos double para evitar conflictos. Las métricas personalizadas en Dataflow aparecen en Monitoring como custom.googleapis.com/dataflow/metric-name. Hay un límite de 500 métricas por proyecto.

Las métricas personalizadas que se informan a Monitoring generan cargos según los precios de Cloud Monitoring.

Explora las métricas

Puedes explorar las métricas de Dataflow con Monitoring. Sigue los pasos que se indican en esta sección y observa las métricas estándar proporcionadas para cada una de tus canalizaciones de Apache Beam.

  1. En Google Cloud Console, selecciona Monitoring:

    Ir a Monitoring

  2. En el panel de navegación izquierdo, haz clic en  Explorador de métricas.

  3. En el panel Find resource type and metric (Buscar tipo de recurso y métrica), selecciona el tipo de recurso dataflow_job.Selecciona el recurso dataflow_job en el Explorador de métricas.

  4. En la lista que aparece, selecciona una métrica que quieras observar para uno de tus trabajos.


    Selección de métricas

Crea paneles y políticas de alertas

Monitoring no solo te proporciona acceso a las métricas relacionadas con Dataflow, sino que también te permite crear paneles y políticas de alertas para generar gráficos de series temporales y elegir que se te envíen notificaciones cuando las métricas alcancen valores específicos.

Crea grupos de recursos

Puedes crear grupos de recursos que incluyan varias canalizaciones de Apache Beam para configurar alertas y crear paneles de forma fácil.

  1. En Google Cloud Console, selecciona Monitoring:

    Ir a Monitoring

  2. En el menú Grupos, selecciona Crear grupos.

  3. Agrega criterios de filtro para definir los recursos de Dataflow incluidos en el grupo. Por ejemplo, un criterio de filtro puede ser el prefijo del nombre de tus canalizaciones. Creación de un grupo.

  4. Una vez que se cree el grupo, puedes ver las métricas básicas relacionadas con los recursos de ese grupo.

Crea políticas de alertas para las métricas de Dataflow

Monitoring te brinda la capacidad de crear alertas y recibir notificaciones cuando cierta métrica cruza un determinado umbral (por ejemplo, cuando el Retraso del sistema de una canalización de transmisión supera un valor definido de forma previa).

  1. En Google Cloud Console, selecciona Monitoring:

    Ir a Monitoring

  2. En el menú Alertas, haz clic en Crear política.

  3. En la página Crea una política de alertas nueva, puedes definir las condiciones de alerta y los canales de notificación.
    Por ejemplo, para configurar una alerta en relación con el retraso del sistema para el grupo de canalización de Apache Beam WindowedWordCount, sigue estos pasos:

    1. Selecciona Agregar condición.
    2. En el campo Buscar tipo de recurso o métrica, ingresa y selecciona dataflow_job.
    3. En el campo Buscar tipo de recurso o métrica, selecciona Retraso del sistema.
  4. Después de crear una alerta, puedes revisar los eventos relacionados con Dataflow si seleccionas Ver todos los eventos en la sección Eventos. Cada vez que se activa una alerta, se crean un incidente y un evento correspondiente. Si especificaste un mecanismo de notificación en la alerta (como correo electrónico o SMS), también recibirás una notificación.

Crea tu propio panel personalizado de supervisión

Puedes crear paneles de supervisión con los gráficos más relevantes relacionados con Dataflow.

  1. Ve a Google Cloud Console y selecciona Monitoring:

    Ir a Monitoring

  2. Selecciona Paneles>Crear panel (Dashboards > Create Dashboard).

  3. Haz clic en Agregar gráfico.

  4. En la ventana Agregar gráfico, selecciona dataflow_job y la métrica que deseas graficar.

  5. En el campo Filtro, selecciona un grupo que contenga canalizaciones de Apache Beam.

Puedes agregar tantos gráficos al panel como quieras.

Recibe métricas de las VM de trabajador desde el agente de Monitoring

Si quieres supervisar el disco persistente, la CPU, la red, y procesar métricas desde tus instancias de VM de trabajador de Dataflow, puedes habilitar el agente de Monitoring cuando ejecutes tu canalización. Consulta la lista de métricas del agente de Monitoring disponibles.

Para habilitar el agente de Monitoring, usa la opción --experiments=enable_stackdriver_agent_metrics cuando ejecutes tu canalización. La cuenta de servicio del controlador debe tener la función roles/monitoring.metricWriter.

Para inhabilitar el agente de Monitoring sin detener tu canalización, lanza un trabajo de reemplazo sin el parámetro --experiments=enable_stackdriver_agent_metrics para actualizarla.

Próximos pasos

Para obtener más información, puedes explorar estos recursos: