Cloud Monitoring

Cloud Monitoring ofrece visibilidad del rendimiento, el tiempo de actividad y el estado general de las aplicaciones en la nube. Google Cloud's operations suite recopila y transfiere métricas, eventos y metadatos de los clústeres de Dataproc para generar estadísticas a través de paneles y gráficos.

Usa las métricas de clústeres de Cloud Monitoring para supervisar el rendimiento y el estado de los clústeres de Dataproc.

Métricas de clústeres de Cloud Monitoring

Las métricas de recursos de clústeres de Dataproc están habilitadas automáticamente en los clústeres de Dataproc. Usa Monitoring para ver estas métricas.

Puedes acceder a Monitoring desde Google Cloud Console o mediante la API de Monitoring.

Console

  1. Una vez que hayas creado un clúster, ve a Monitoring en Cloud Console para ver los datos de supervisión del clúster.

    Cuando accedes a Monitoring por primera vez, la herramienta crea un lugar de trabajo y asocia tu proyecto de Google Cloud con ese lugar de trabajo. Si nunca usaste Monitoring, este proceso es automático. Si ya usaste Monitoring, aparecerá el diálogo Add your project to a Workspace. Para crear un nuevo lugar de trabajo, en la lista New Workspace, selecciona tu proyecto de Google Cloud y, luego, haz clic en Agregar.

    La consola de Monitoring aparece después de configurar el lugar de trabajo. En este momento, puedes instalar el agente de Monitoring en las VM de tu proyecto como un paso adicional de configuración. No es necesario que instales el agente en las VM en los clústeres de Dataproc, dado que este paso se realiza cuando creas un clúster de Dataproc.

  2. Selecciona Explorador de métricas. En la lista desplegable "Find resource type and metric", selecciona el recurso "Clúster de Cloud Dataproc" (o escribe "cloud_dataproc_cluster" en el cuadro).
  3. Haz clic de nuevo en el cuadro de entrada y selecciona una métrica de la lista desplegable. En la captura de pantalla siguiente, se selecciona "YARN memory size" (Tamaño de memoria YARN). Si te desplazas sobre el nombre de la métrica, se muestra la información sobre esta.

    Puedes seleccionar filtros, agrupar por etiquetas de métricas, realizar agregaciones y seleccionar opciones de visualización de gráficos (consulta la documentación de Monitoring).

API

Puedes usar la API timeSeries.list de Monitoring para capturar y enumerar las métricas definidas por una expresión filter. Usa la plantilla Probar esta API en la página de la API para enviar una solicitud a la API y mostrar la respuesta.

Ejemplo: Esta es una instantánea de una solicitud con plantilla y la respuesta JSON que se muestra para los siguientes parámetros timeSeries.list de Monitoring:

  • name: projects/example-project-id
  • filter: metric.type="dataproc.googleapis.com/cluster/hdfs/storage_capacity"
  • interval.endTime: 2018-02-27T11:54:00.000-08:00
  • interval.startTime: 2018-02-20T00:00:00.000-08:00

Compila un panel personalizado de Monitoring

Puedes compilar un panel personalizado de Monitoring que muestre gráficos de métricas seleccionadas de clústeres de Cloud Dataproc.

  1. Selecciona + CREAR PANEL en la página Descripción general de los paneles de Monitoring. Ingresa un nombre para el panel y, luego, haz clic en Agregar gráfico en el menú superior derecho para abrir la ventana Agregar gráfico. Selecciona "Cloud Dataproc Cluster" (clúster de Cloud Dataproc) como el tipo de recurso. Selecciona una o varias métricas y propiedades de estas y de gráficos. Luego, guarda el gráfico.

  2. Puedes agregar gráficos adicionales a tu panel. Después de guardar el panel, su título aparecerá en la página Descripción general de los paneles de Monitoring. Los gráficos de paneles pueden verse, actualizarse y borrarse en la página de visualización de paneles.

Usa alertas de Monitoring

Puedes crear una alerta de Monitoring que te notifique cuando un clúster de Dataproc o una métrica de trabajo traspase un umbral especificado, por ejemplo, cuando la capacidad libre de HDFS sea baja.

Crea una alerta

  1. Abre Monitoring Alerting en Cloud Console. Haz clic en + CREAR POLÍTICA para abrir el formulario Crear nueva política de alertas. Para definir una alerta, agrega condiciones de alerta, activadores de políticas, canales de notificación y documentación.

  2. Selecciona ADD CONDITION (AGREGAR CONDICIÓN) para abrir el formulario de condición de alerta con la pestaña Metric (Métrica) seleccionada. Completa los campos para definir una condición de alerta y, luego, haz clic en ADD (AGREGAR). La condición de alerta del ejemplo que se muestra a continuación se activará cuando la capacidad de HDFS del clúster de Dataproc sea inferior al límite especificado de 930 GiB (GB binario) (998,579,896,320 bytes) durante 1 minuto.

  3. Después de agregar la condición de alerta, completa la política de alertas mediante la configuración de los canales de notificación, activadores de políticas, documentación y el nombre de la política de alertas.

Visualiza alertas

Cuando una condición de límite de una métrica activa una alerta, Monitoring crea un incidente y un evento correspondiente. Puedes ver los incidentes desde la página de Alertas de Monitoring en Cloud Console. Si definiste un mecanismo de notificación en la política de alertas, como una notificación por correo electrónico o SMS, Monitoring también envía una notificación del incidente.

Qué sigue