Usa Cloud Monitoring para las canalizaciones de Dataflow

Cloud Monitoring proporciona registros y diagnósticos eficaces. La integración de Dataflow con Monitoring te permite acceder a métricas de trabajo de Dataflow, como estado del trabajo, cantidad de elementos, retraso del sistema (para trabajos de transmisión) y contadores de usuarios, desde los paneles de Monitoring. También puedes usar las alertas de Monitoring para notificarte sobre diversas condiciones, como un retraso prolongado del sistema de transmisión o trabajos con errores.

Antes de comenzar

Consulta las guías de inicio rápido de Java, Python o Go para configurar el proyecto de Dataflow. Luego, construye y ejecuta tu canalización.

Nota: Si tu permiso de métricas está configurado con un perímetro de servicio de Controles del servicio de VPC para el API de Monitoring, algunas métricas no están disponibles para los trabajadores de la canalización de Compute Engine fuera del perímetro. Para obtener más información sobre los perímetros de servicio, consulta la documentación de configuración del perímetro de servicio de los Controles del servicio de VPC.

Para ver los registros en el Explorador de métricas, la cuenta de servicio del trabajador debe tener el rol roles/monitoring.metricWriter.

Métricas personalizadas

Dataflow informará a Monitoring sobre cualquier métrica definida en una canalización de Apache Beam como una métrica personalizada. Apache Beam tiene tres tipos de métricas de canalización: Counter, Distribution y Gauge.

• Dataflow informa las métricas Counter y Distribution a Monitoring.
• Distribution se informa como cuatro submétricas que llevan los sufijos _MAX, _MIN, _MEAN y _COUNT.
• Dataflow no admite la creación de un histograma a partir de métricas de Distribution.
• Dataflow informa actualizaciones incrementales a Monitoring cada 30 segundos, aproximadamente.
• Para evitar conflictos, todas las métricas personalizadas de Dataflow se exportan como un tipo de datos double.

• Para simplificar, todas las métricas personalizadas de Dataflow se exportan como un tipo de métrica GAUGE. Puedes supervisar el delta durante un período para una métrica GAUGE, como se muestra en el siguiente ejemplo de lenguaje de consultas de Monitoring:

   fetch dataflow_job
   | metric 'dataflow.googleapis.com/job/user_counter'
   | filter (metric.job_id == '[JobID]')
   | delta 1m
   | group_by 1m, [value_user_counter_mean: mean(value.user_counter)]
   | every 1m
   | group_by [metric.ptransform, metric.metric_name],
     [value_user_counter_mean_aggregate: aggregate(value_user_counter_mean)]
  

• Las métricas personalizadas de Dataflow aparecen en Monitoring como dataflow.googleapis.com/job/user_counter con las etiquetas metric_name: metric-name y ptransform: ptransform-name.

• Para la retrocompatibilidad, Dataflow también informa métricas personalizadas a Monitoring como custom.googleapis.com/dataflow/metric-name.

• Las métricas personalizadas de Dataflow están sujetas a la limitación de la cardinalidad en Monitoring.

• Cada proyecto tiene un límite de 100 métricas personalizadas de Dataflow. Estas métricas se publican como custom.googleapis.com/dataflow/metric-name.

Las métricas personalizadas que se informan a Monitoring generan cargos según los precios de Cloud Monitoring.

Usa el Explorador de métricas

Usa Monitoring para explorar las métricas de Dataflow. Sigue los pasos de esta sección y observa las métricas estándar que se proporcionan para cada una de tus canalizaciones de Apache Beam. Para obtener más información sobre el uso del Explorador de métricas, consulta Crea gráficos con el Explorador de métricas.

1. En la consola de Google Cloud, selecciona Monitoring:

   Ir a Monitoring

2. En el panel de navegación, selecciona el Explorador de métricas.

3. En el panel Seleccionar una métrica, ingresa Dataflow Job en el filtro.

4. En la lista que aparece, selecciona una métrica para observar uno de tus trabajos.

   Obtén más información sobre las métricas disponibles relacionadas con Dataflow.

   • Estado del trabajo: Proporciona el estado del trabajo (Con errores, Finalizado) como una enumeración cada 30 segundos y cuando se actualiza. Nota: Es posible que los valores de enum no se utilicen en gráficos o en alertas, pero puedes recuperar este valor mediante la interfaz web de Cloud Monitoring. Para las alertas, usa la métrica "Con Errores" que se establece en 1 si falla un trabajo.
   • Con errores: Se configurará en 1 si un trabajo se cierra con un error. Utiliza esta métrica para crear una alerta y un gráfico de la cantidad de canalizaciones con errores.
   • Tiempo transcurrido: Tiempo transcurrido del trabajo (medido en segundos), informado cada 30 segundos.
   • Retraso del sistema: Retraso máximo en toda la canalización, informado en segundos.
   • Recuento actual de CPU virtuales: Cantidad actual de CPU virtuales que utiliza un trabajo y que se actualiza cuando cambia un valor.
   • Uso total de CPU virtuales: La cantidad total de CPU virtuales que utiliza un trabajo. Se actualiza cuando cambia el valor.
   • Uso total de Disco persistente: El total acumulado de disco persistente que utiliza un trabajo. Se mide en GB por segundo y se actualiza cuando cambia el valor. Nota: Existen dos tipos diferentes de discos persistentes (SSD y HDD). Ambos se informan con el mismo nombre de métrica y utilizan una etiqueta de métrica para diferenciarse.
   • Uso de memoria total: Memoria total acumulada que se asigna a un trabajo; se mide en GB por segundo y se actualiza cuando cambia un valor.
   • Recuento de elementos: Cantidad de elementos por PCollection. Nota: Esta métrica es por PCollection, no a nivel de trabajo, por lo que aún no se encuentra disponible para utilizar en las alertas.
   • Estimación de la cantidad de bytes: Cantidad de bytes procesados por PCollection. Nota: Esta métrica es por PCollection, no a nivel de trabajo, por lo que aún no se encuentra disponible para utilizar en las alertas.

Cuando ejecutas trabajos de Dataflow, también puedes supervisar las métricas de tus fuentes y receptores. Por ejemplo, es posible que desees supervisar las métricas de la API de BigQuery Storage. Para obtener más información, consulta Crea paneles, gráficos y alertas y la lista completa de métricas del Servicio de transferencia de datos de BigQuery.

Crea paneles y políticas de alertas

Monitoring proporciona acceso a las métricas relacionadas con Dataflow. Crea paneles para graficar las series temporales de métricas y crear políticas de alertas que te notifiquen cuando las métricas alcancen valores específicos.

Crea grupos de recursos

Para facilitar la configuración de alertas y la creación de paneles, crea grupos de recursos que incluyan varias canalizaciones de Apache Beam.

1. En la consola de Google Cloud, selecciona Monitoring:

   Ir a Monitoring

2. En el panel de navegación, selecciona Grupos.

3. Haz clic en Crear grupo.

4. Ingresa un nombre para tu grupo.

5. Agrega criterios de filtro para definir los recursos de Dataflow incluidos en el grupo. Por ejemplo, un criterio de filtro puede ser el prefijo del nombre de tus canalizaciones.

6. Una vez que se cree el grupo, puedes ver las métricas básicas relacionadas con los recursos de ese grupo.

Crea políticas de alertas para las métricas de Dataflow

Monitoring te permite crear alertas y recibir notificaciones cuando una métrica cruza un límite específico. Por ejemplo, puedes recibir una notificación cuando el retraso del sistema de una canalización de transmisión supera un valor predefinido.

1. En la consola de Google Cloud, selecciona Monitoring:

   Ir a Monitoring

2. En el panel de navegación, selecciona Alertas.

3. Haz clic en Crear política.

4. En la página Crea una política de alertas nueva, define las condiciones de alerta y los canales de notificación.
   Por ejemplo, para configurar una alerta en relación con el retraso del sistema para el grupo de canalización de Apache Beam WindowedWordCount, sigue estos pasos:

   1. Haz clic en Selecciona una métrica.
   2. En el campo Seleccionar una métrica, ingresa Dataflow Job.
   3. En Categorías de métricas, selecciona Trabajo.
   4. En Métricas, seleccione Retraso del sistema.

   Cada vez que se activa una alerta, se crea un incidente y su correspondiente evento. Si se especificó un mecanismo de notificación en la alerta (como correo electrónico o SMS), también se recibe una notificación.

Compila paneles de supervisión personalizados

Puedes crear paneles de Monitoring con los gráficos más relevantes relacionados con Dataflow. Para agregar un gráfico a tu panel, sigue estos pasos:

1. En la consola de Google Cloud, selecciona Monitoring:

   Ir a Monitoring

2. En el panel de navegación, selecciona Paneles.

3. Haz clic en Crear panel de control.

4. Haz clic en Agregar widget.

5. En la ventana Agregar widget, en Datos, selecciona Métrica.

6. En el panel Selecciona una métrica, para Métrica, ingresar Dataflow Job.

7. Selecciona una categoría de métrica y una métrica.

Puedes agregar tantos gráficos al panel como quieras.

Recibe métricas de las VM de trabajador desde el agente de Monitoring

Puedes usar Monitoring para supervisar las métricas de discos persistentes, CPU, red y procesos. Cuando ejecutes la canalización, desde tus instancias de VM de trabajador de Dataflow, habilita el agente de Monitoring. Consulta la lista de métricas del agente de Monitoring disponibles.

Para habilitar el agente de Monitoring, usa la opción --experiments=enable_stackdriver_agent_metrics cuando ejecutes tu canalización. La cuenta de servicio del trabajador debe tener el rol roles/monitoring.metricWriter.

Para inhabilitar el agente de Monitoring sin detener tu canalización, lanza un trabajo de reemplazo sin el parámetro --experiments=enable_stackdriver_agent_metrics para actualizarla.

Almacenamiento y retención

La información sobre los trabajos de Dataflow completados o cancelados se almacena durante 30 días.

Los registros operativos se almacenan en el bucket de registros _Default. El nombre del servicio de la API de Logging es dataflow.googleapis.com. Para obtener más información sobre los tipos de recursos y servicios supervisados de Google Cloud que se usan en Cloud Logging, consulta Recursos y servicios supervisados.

Para obtener detalles sobre cuánto tiempo Logging retiene las entradas de registro, consulta la información sobre retención en Cuotas y límites: períodos de retención de registros.

Para obtener información sobre cómo ver los registros operativos, consulta Supervisa y visualiza los registros de canalización.

¿Qué sigue?

Para obtener más información, puedes explorar estos recursos:

• Documentación de Monitoring
• Usa la interfaz de supervisión de Dataflow