Stackdriver Monitoring

Stackdriver Monitoring proporciona visibilidad del rendimiento, el tiempo de actividad y el estado general de las aplicaciones que usan la tecnología de nube. Stackdriver recopila y transfiere métricas, eventos y metadatos de clústeres de Cloud Dataproc para generar estadísticas a través de paneles y gráficos. Puedes usar Monitoring para comprender el rendimiento y el estado de tus clústeres de Cloud Dataproc y examinar métricas de trabajo y operación de HDFS, YARN y Cloud Dataproc.

Las métricas de recursos del clúster de Cloud Dataproc se habilitan de manera automática y puedes usar Monitoring para verlas.

Consulta los Precios de Stackdriver para comprender tus costos. Para obtener más información sobre la retención de datos de métricas, consulta Cuotas de Monitoring.

Usa Monitoring en clústeres de Cloud Dataproc

Puedes acceder a Monitoring desde la consola de Monitoring o con la API de Monitoring.

Console

Después de crear un clúster, dirígete a la consola de Monitoring para ver los datos de supervisión de clústeres.

Cuando accedes por primera vez a Monitoring, se te pide que crees un lugar de trabajo y selecciones un proyecto. Si no, puedes instalar el agente de Monitoring en las VM de tu proyecto como paso de configuración adicional. No necesitas instalar el agente en VM en los clústeres de Cloud Dataproc, ya que este paso se realiza cuando creas un clúster de Cloud Dataproc.

La consola de Monitoring aparece después de configurar el lugar de trabajo.

Selecciona ResourcesMetrics Explorer(Recursos→Explorador de métricas) y haz clic en el cuadro de entrada "Find resource type and metric" (Buscar métrica y tipo de recurso) para ver la lista desplegable de recursos. Selecciona el recurso "Cloud Dataproc Cluster" (o escribe "cloud_dataproc_cluster" en el cuadro).

Haz clic de nuevo en el cuadro de entrada y selecciona una métrica de la lista desplegable. En la captura de pantalla siguiente, se selecciona "YARN memory size" (Tamaño de memoria YARN). Si te desplazas sobre el nombre de la métrica, se muestra la información sobre esta.

Puedes seleccionar filtros, agrupar por etiquetas de métricas, realizar agregaciones y seleccionar opciones de visualización de gráficos (consulta la documentación de Monitoring).

API

Puedes usar la API timeSeries.list de Monitoring para capturar y enumerar métricas definidas por una expresión filter. Usa la plantilla Prueba esta API en la página de la API para enviar una solicitud a la API y mostrar la respuesta.

Ejemplo: aquí se muestra una instantánea de una solicitud con plantilla y la respuesta JSON que se muestra para los parámetros timeSeries.list siguiente de Monitoring:

  • name: projects/example-project-id
  • filter: metric.type="dataproc.googleapis.com/cluster/hdfs/storage_capacity"
  • interval.endTime: 2018-02-27T11:54:00.000-08:00
  • interval.startTime: 2018-02-20T00:00:00.000-08:00

Compila un panel personalizado de Monitoring

Puedes compilar un panel personalizado de Monitoring que muestre gráficos de métricas seleccionadas de clústeres de Cloud Dataproc.

  1. Selecciona Dashboards→Create Dashboard (Paneles→Crear panel) en la consola de Monitoring.

  2. Se abre un "panel sin título". Haz clic en Add Chart (Agregar gráfico). En la ventana Agregar gráfico, selecciona "Cloud Dataproc Cluster" como tipo de recurso. Selecciona una o más métricas y propiedades de estas y de gráficos. Confirma o escribe un título nuevo para el gráfico, y haz clic en Save (Guardar).

  3. Puedes agregar gráficos adicionales a tu panel. Después de guardar el panel, su título aparece en el menú Paneles de Monitoring.

  4. Los gráficos de paneles pueden verse, actualizarse y borrarse en la página de visualización de paneles.

Usa alertas de Monitoring

Puedes crear una alerta de Monitoring que te notifica cuando una métrica de trabajo o un clúster de Cloud Dataproc supera un límite específico (por ejemplo, cuando la capacidad gratuita de HDFS es baja).

Crea una alerta

  1. Selecciona "Alerting→Create a Policy" (Alertas→Crea una política) en la consola de Monitoring.

  2. En la página Create a new alerting policy (Crear una política de alertas nueva), para definir la alerta, agrega condiciones de alerta, canales de notificación y documentación.

  3. Selecciona "Conditions→+ Add Condition" (Condiciones→+ Agregar condiciones) y en la página Select condition type (Seleccionar tipo de condición), selecciona "Metric Threshold/Rate Change/Absence" (Límite de la métrica/Cambio de tasa/Ausencia).

  4. En la página Add monitoring.v3 Condition (Agregar condición de monitoring.v3), selecciona la métrica "Cloud Dataproc Cluster" y la condición del activador de alertas y haz clic en "Save Condition" (Guardar condición).

  5. Después de configurar la condición de alerta, configura los canales de notificación, la documentación y el nombre de la política de alertas nueva para completarla en la página Crea una política de alertas nueva.

Visualización de alertas

Cuando una condición de límite de una métrica activa una alerta, Monitoring crea un incidente (y un evento correspondiente). Puedes revisar los incidentes desde la página Alerting→Incidents (Alertas→Incidentes) de Monitoring. Si definiste un mecanismo de notificación en la política de alertas, como una notificación por correo electrónico o SMS, Monitoring también envía una notificación del incidente.

Pasos siguientes

¿Te ha resultado útil esta página? Enviar comentarios:

Enviar comentarios sobre...

Documentación de Cloud Dataproc
Si necesitas ayuda, visita nuestra página de asistencia.