Cómo utilizar Stackdriver Monitoring en las canalizaciones de Cloud Dataflow

Stackdriver proporciona servicios potentes de supervisión, registro y diagnóstico. La integración de Cloud Dataflow con Stackdriver Monitoring te permite acceder a las métricas de trabajo de Cloud Dataflow, como Estado del trabajo, Cantidad de elementos, Retraso del sistema (para trabajos de transmisión) y Contadores de usuarios, desde los paneles de Stackdriver. También puedes utilizar las capacidades de alerta de Stackdriver para recibir notificaciones sobre una variedad de condiciones, como un gran retraso en el sistema de transmisión o trabajos con errores.

Antes de comenzar

Sigue una de las guías de inicio rápido para configurar tu proyecto de Cloud Dataflow, y construir y ejecutar tu canalización.

Explora las métricas

Puedes explorar las métricas de Cloud Dataflow a través de Stackdriver. Sigue los pasos de esta sección y observa las métricas estándar proporcionadas para cada una de tus canalizaciones de Apache Beam.

Nota: Cloud Dataflow informará a Stackdriver sobre cualquier agregador definido en una canalización de Apache Beam como una métrica personalizada. Cloud Dataflow le informará las actualizaciones incrementales a Stackdriver aproximadamente cada 30 segundos. Todas las métricas del usuario se exportarán como un tipo de dato “doble” para evitar conflictos.

  1. En Google Cloud Platform Console, selecciona Stackdriver Monitoring:

    Ir a Monitoring

  2. Si se muestra el diálogo Agrega tu proyecto a un lugar de trabajo (Add your project to a Workspace), crea un lugar de trabajo nuevo mediante la selección de tu proyecto de GCP en Lugar de trabajo nuevo (New Workspace) y, luego, haz clic en Agregar (Add). En la imagen siguiente, el nombre del proyecto de GCP es Quickstart:

    Cómo crear un diálogo nuevo de lugar de trabajo.

    Solo se muestra el diálogo Agrega tu proyecto a un lugar de trabajo (Add your project to a Workspace) cuando tienes al menos un lugar de trabajo existente disponible. Los lugares de trabajo que se enumeran en Lugar de trabajo existente (Existing Workspace) son los lugares de trabajo que creaste o los lugares de trabajo para los proyectos de GCP en los que tienes permiso editorial. Si usas este diálogo, puedes elegir entre crear un lugar de trabajo nuevo o agregar tu proyecto a un lugar de trabajo existente.

  3. En el menú Recurso (Resource), selecciona Explorador de métricas (Metrics Explorer).

  4. En el panel Buscar un tipo de recurso o una métrica (Find a resource type and/or a metric), selecciona el tipo de recurso dataflow_job.dataflow_job

  5. En la lista que aparece, selecciona una métrica que quieras observar para uno de tus trabajos.


    Elegir métricas
    Por ejemplo: En este ejemplo, se muestra una canalización de transmisión que lee desde un tema de Cloud Pub/Sub y escribe en BigQuery. Consta de 5 pasos, uno de los cuales es PubsubIO.Read. La siguiente imagen muestra el dataflow/job/element_count para el paso PubsubIO.Read de la canalización.Ejemplo

Crea alertas y paneles

Además de brindarte acceso a las métricas relacionadas con Cloud Dataflow, Stackdriver te permite crear alertas y paneles para realizar gráficos de las series temporales de métricas, y elegir si recibir notificaciones cuando estas métricas alcanzan valores específicos.

Crea grupos de recursos

Puedes crear grupos de recursos que incluyan varias canalizaciones de Apache Beam para configurar alertas y crear paneles de forma fácil.

  1. En Google Cloud Platform Console, selecciona Stackdriver Monitoring:

    Ir a Monitoring

  2. En el menú Grupos (Groups), selecciona Crear grupos (Create Groups).

  3. Agrega los criterios de filtro que definan los recursos de Cloud Dataflow incluidos en el grupo. Por ejemplo, un criterio de filtro puede ser el prefijo del nombre de tus canalizaciones.Crear grupo.

  4. Una vez que se cree el grupo, podrás ver las métricas básicas relacionadas con los recursos de ese grupo.Crear grupo.

Crea alertas para las métricas de Cloud Dataflow

Stackdriver te brinda la capacidad de crear alertas y recibir notificaciones cuando cierta métrica cruza un determinado umbral. Por ejemplo, cuando el Retraso del sistema (System Lag) de una canalización de transmisión supera un valor definido de forma previa.

  1. En Google Cloud Platform Console, selecciona Stackdriver Monitoring:

    Ir a Monitoring

  2. En el menú Alertas (Alerting), selecciona Descripción general de las políticas (Policies Overview).

  3. Haz clic en Agregas política (Add Policy).Agregar política.

  4. En la página Crear nueva política de alertas (Create new alerting policy), puedes definir las condiciones de alerta y los canales de comunicación de las alertas.
    Por ejemplo, para establecer una alerta en el Retraso del sistema para el Grupo de canalización de Apache Beam WindowedWordCount, selecciona "Trabajo de Dataflow" (Dataflow Job) en el menú desplegable Tipo de recurso (Resource Type), "Grupo" (Group) en el menú desplegable Se aplica a (Applies To) y "Retraso del sistema" (System Lag) en el menú desplegable Si la métrica (If Metric).Crear alerta.

  5. Después de crear una alerta, puedes revisar los eventos relacionados con Cloud Dataflow si navegas a Alerta > Eventos (Alerting > Events). Cada vez que se activa una alerta por la condición Límite de métrica (Metric Threshold), se crea un Incidente (Incident) y su correspondiente Evento (Event) en Stackdriver. Si especificaste un mecanismo de notificación en la alerta (correo electrónico, SMS, etc.), también recibirás una notificación.Alerta de incidentes.

Compila tu propio panel personalizado de supervisión

Puedes compilar paneles de Stackdriver Monitoring con los gráficos de Cloud Dataflow más relevantes.

  1. Ve a Google Cloud Platform Console y selecciona Stackdriver Monitoring:

    Ir a Monitoring

  2. Selecciona Paneles>Crear panel (Dashboards > Create Dashboard).

  3. Haga clic en Agregar gráfico (Add Chart).

  4. En la ventana Agregar gráfico (Add Chart), selecciona "Trabajo de Dataflow" (Dataflow Job) como el Tipo de recurso (Resource Type), selecciona la métrica para la que quieres crear el gráfico en el campo Tipo de métrica (Metric Type) y selecciona un grupo que contenga las canalizaciones de Apache Beam en el panel Filtro (Filter).Agregar gráfico.

Puedes agregar tantos gráficos al panel como quieras.

Recibe métricas de la VM de trabajador desde el agente de Stackdriver Monitoring

Si quieres supervisar el disco persistente, la CPU, la red, y procesar métricas desde tus instancias de VM de trabajador de Cloud Dataflow, puedes habilitar el agente de Stackdriver Monitoring cuando ejecutes tu canalización. Consulta la lista de métricas del agente de Monitoring disponibles.

Para habilitar el agente de Monitoring, usa la opción --experiments=enable_stackdriver_agent_metrics cuando ejecutes tu canalización.

Para inhabilitar el agente de Monitoring sin detener tu canalización, actualiza tu canalización a través del lanzamiento del trabajo de reemplazo y sin especificar el parámetro --experiments=enable_stackdriver_agent_metrics.

Pasos siguientes

Para obtener más información, considera explorar estos recursos:

¿Te sirvió esta página? Envíanos tu opinión:

Enviar comentarios sobre…

¿Necesitas ayuda? Visita nuestra página de asistencia.