Cloud Monitoring

Cloud Monitoring proporciona visibilidad del rendimiento, el tiempo de actividad y el estado general de las aplicaciones basadas en la nube. Google Cloud Observability recopila y transfiere métricas, eventos y metadatos de Servicios de Dataproc Metastore para generar estadísticas mediante paneles y gráficos.

Accede a las métricas del servicio en Monitoring

Las métricas de recursos del servicio de Dataproc Metastore se habilitan de manera automática en los servicios de Dataproc Metastore. Usa Monitoring para ver estas métricas.

Puedes acceder a Monitoring desde la consola de Google Cloud o mediante la API de Monitoring.

Console

  1. En la consola de Google Cloud, ve a Cloud Monitoring > Página del Explorador de métricas:

    Ir a la página Explorador de métricas

  2. En la lista desplegable “Buscar tipo de recurso y métrica”, selecciona el recurso Dataproc Metastore Service.

  3. Haz clic de nuevo en la casilla de entrada y selecciona una métrica de la lista desplegable. Si colocas el cursor sobre el nombre de la métrica, se muestra la información sobre esta.

Puedes seleccionar filtros, agrupar por etiquetas de métricas, realizar agregaciones y seleccionar opciones de visualización de gráficos.

REST

Puedes usar la API timeSeries.list de Monitoring para capturar y enumerar las métricas definidas por una expresión filter. Usa la plantilla Prueba esta API (Try this API) en la página de la API para enviar una solicitud a la API y mostrar la respuesta.

Métricas del servicio de Dataproc Metastore en Monitoring

Métricas de Dataproc Metastore Etapas de lanzamiento de estas métricas: BETA GA

Las strings de “tipo de métrica” de esta tabla deben tener el prefijo metastore.googleapis.com/. Este prefijo se omitió en las entradas de la tabla. Cuando consultes una etiqueta, usa el prefijo metric.labels.. Por ejemplo, metric.labels.LABEL="VALUE".

Tipo de métrica Etapa de lanzamiento (niveles de jerarquía de recursos)
Nombre visible
Clase, tipo, unidad
Recursos supervisados		 Descripción
Etiquetas
federation/health BETA  (project)
Estado del servicio de federación
GAUGE, INT64, 1
metastore.googleapis.com/Federation 		El estado del servicio Federated Dataproc Metastore.
version: La versión de Hive Metastore del servicio.
federation/server/request_count BETA  (proyecto)
Recuento de solicitudes del servicio de federación
DELTA, INT64, {request}
metastore.googleapis.com/Federation 		Es la cantidad de solicitudes que se envían al servicio de Dataproc Metastore federado.
method_name: Es el nombre del método de solicitud.
status: Es el estado final de la solicitud, uno de [success, client_error, server_error].
version: La versión de Hive Metastore del servicio.
service/grpc/finished_requests_count BETA  (proyecto)
Recuento de solicitudes de gRPC finalizadas
DELTA, INT64, 1
metastore.googleapis.com/Service 		Es la cantidad de solicitudes que completó el servicio de Dataproc Metastore de GRPC.
tier: Es el nivel de servicio o el tamaño de la instancia del servicio, como ENTERPRISE.
version: La versión de Hive Metastore del servicio.
status: Es el estado de la solicitud, como "BAD_REQUEST".
method_name: Es el nombre del método de solicitud.
service/grpc/received_bytes_count BETA  (proyecto)
Bytes de gRPC recibidos
DELTA, INT64, By
metastore.googleapis.com/Service 		Cantidad de bytes que recibió el servicio Dataproc Metastore.
tier: Nivel de servicio o tamaño de instancia del servicio.
version: La versión de Hive Metastore del servicio.
service/grpc/request_latencies BETA  (proyecto)
Latencias de solicitudes de gRPC
DELTA, DISTRIBUTION, ms
metastore.googleapis.com/Service 		Distribución de las latencias de las solicitudes de gRPC de un servicio de Dataproc Metastore.
tier: Nivel de servicio o tamaño de instancia del servicio.
version: La versión de Hive Metastore del servicio.
status: El estado de la solicitud, como `BAD_REQUEST`.
method_name: El nombre del método de solicitud.
service/grpc/sent_bytes_count BETA (proyecto)
Bytes enviados de gRPC
DELTA, INT64, By
metastore.googleapis.com/Service 		Cantidad de bytes que envía el servicio de Dataproc Metastore.
tier: Es el nivel de servicio o el tamaño de la instancia del servicio.
version: La versión de Hive Metastore del servicio.
service/grpc/started_requests_count BETA (proyecto)
Recuento de solicitudes iniciadas de gRPC
DELTA, INT64, 1
metastore.googleapis.com/Service 		La cantidad de solicitudes que recibió e inició el servicio de GRPC Dataproc Metastore.
tier: Es el nivel de servicio o el tamaño de la instancia del servicio.
version: La versión de Hive Metastore del servicio.
method_name: El nombre del método de solicitud.
service/grpc_client/finished_requests_count BETA (proyecto)
Recuento de solicitudes finalizadas de clientes de gRPC
CUMULATIVE, INT64, 1
metastore.googleapis.com/Service 		Cantidad total de RPC completadas en el cliente, sin importar el éxito o el fracaso.
status: El estado de la solicitud, como `BAD_REQUEST`.
method_name: El nombre del método de solicitud.
service/grpc_client/received_bytes_count BETA (proyecto)
Bytes recibidos del cliente gRPC
CUMULATIVE, INT64, By
metastore.googleapis.com/Service 		Cantidad de bytes que recibió el cliente de gRPC.
service/grpc_client/request_latencies BETA  (proyecto)
Latencias de solicitudes de clientes de gRPC
CUMULATIVE, DISTRIBUTION, ms
metastore.googleapis.com/Service 		Distribución de latencias de solicitud de gRPC para un servicio de Dataproc Metastore.
status: Es el estado de la solicitud, como "BAD_REQUEST".
method_name: Es el nombre del método de solicitud.
service/grpc_client/sent_bytes_count BETA (proyecto)
Bytes enviados del cliente gRPC
CUMULATIVE, INT64, By
metastore.googleapis.com/Service 		Cantidad de bytes que envía el cliente de gRPC.
service/grpc_client/started_requests_count BETA  (project)
Cantidad de solicitudes iniciadas del cliente de gRPC
CUMULATIVE, INT64, 1
metastore.googleapis.com/Service 		La cantidad de solicitudes que inició el cliente de gRPC.
method_name: Es el nombre del método de solicitud.
service/health DG (proyecto)
Estado del servicio
GAUGE, INT64, 1
metastore.googleapis.com/Service 		El estado del servicio de Dataproc Metastore.
tier: Nivel de servicio o tamaño de instancia del servicio, como ENTERPRISE.
version: La versión de Hive Metastore del servicio.
release_tag: Etiqueta de versión de Dataproc Metastore, propagada por el backend del servicio y que puede cambiar a lo largo de su ciclo de vida.
service/metadata/bytes_used BETA (proyecto)
Tamaño de los metadatos almacenados en el servicio de Dataproc Metastore.
GAUGE, INT64, By
metastore.googleapis.com/Service 		Es la cantidad de datos que se almacenan en la base de datos de backend del servicio.
version: Es la versión de Hive Metastore del servicio.
database_type: El tipo de base de datos, uno de [SQL, Spanner].
service/migration/replication_lag BETA  (project)
Latencia de procesamiento de la canalización de replicación en segundos.
GAUGE, DOUBLE, s
metastore.googleapis.com/Service 		Es la duración máxima actual en segundos que se tarda en replicar los datos en Dataproc Metastore.
migration_id: El ID de migración.
service/migration/write_throughput BETA  (project)
Capacidad de procesamiento de escritura en la base de datos de destino.
GAUGE, DOUBLE, By/s
metastore.googleapis.com/Service 		La capacidad de procesamiento de escritura actual en la base de datos de Dataproc Metastore a la que se copian los datos durante la fase de replicación.
migration_id: El ID de migración.
service/multi_region/health DG (proyecto)
Estado de los servicios multirregionales
GAUGE, INT64, 1
metastore.googleapis.com/Service 		El estado del Service multirregional de Dataproc Metastore.
version: La versión de Hive Metastore del servicio.
release_tag: Etiqueta de versión de Dataproc Metastore, propagada por el backend del servicio y que puede cambiar a lo largo de su ciclo de vida.
service_region: Es la región constituyente en la que se aloja el servicio de Dataproc Metastore.
scaling_factor: Factor de escalamiento del servicio: [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0, 2.0, 3.0, 4.0, 5.0 o 6.0].
service/multi_region/request_count GA  (proyecto)
Recuento de solicitudes de servicio multirregional
DELTA, INT64, {request}
metastore.googleapis.com/Service 		La cantidad de solicitudes que se envían al servicio multirregional de Dataproc Metastore.
method_name: El nombre del método de solicitud.
version: Es la versión de Hive Metastore del servicio.
service_region: Región constituyente en la que se aloja el servicio de Dataproc Metastore.
scaling_factor: Es el factor de escalamiento del servicio, uno de [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0, 2.0, 3.0, 4.0, 5.0, 6.0].
service/multi_region/request_latencies DG (proyecto)
Latencias de solicitudes de servicios multirregionales
DELTA, DISTRIBUTION, ms
metastore.googleapis.com/Service 		Las latencias de las solicitudes enviadas al servicio multirregional de Dataproc Metastore.
method_name: El nombre del método de solicitud.
version: La versión de Hive Metastore del servicio.
service_region: Es la región constituyente en la que se aloja el servicio de Dataproc Metastore.
scaling_factor: Es el factor de escalamiento del servicio, uno de [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0, 2.0, 3.0, 4.0, 5.0, 6.0].
service/query_metadata/request_count BETA  (project)
Recuento de solicitudes de la interfaz de administrador
DELTA, INT64, {request}
metastore.googleapis.com/Service 		La cantidad de solicitudes de la interfaz de administrador.
database_type: Es el tipo de base de datos, uno de [SQL, Spanner].
code: Es el código de estado de gRPC.
service/query_metadata/request_latencies BETA  (project)
Latencia de la solicitud de la interfaz de administración
DELTA, DISTRIBUTION, ms
metastore.googleapis.com/Service 		La latencia de solicitud de extremo a extremo para las solicitudes de la interfaz de administración.
database_type: Es el tipo de base de datos, uno de [SQL, Spanner].
code: Es el código de estado de gRPC.
service/request_count DG  (proyecto)
Recuento de solicitudes
DELTA, INT64, {request}
metastore.googleapis.com/Service 		La cantidad de solicitudes enviadas al servicio Dataproc Metastore
method_name: El nombre del método de solicitud.
version: Es la versión de Hive Metastore del servicio.
service/scheduled_backups/backup_count BETA  (proyecto)
Recuento de copias de seguridad programadas
DELTA, INT64, 1
metastore.googleapis.com/Service 		La cantidad de copias de seguridad programadas almacenadas actualmente para el servicio.
state: Estado de la copia de seguridad: [SUCCEEDED, FAILED, IN_PROGRESS].
database_type: El tipo de base de datos, uno de [SQL, Spanner].
version: Es la versión de Hive Metastore del servicio.
service/scheduled_backups/last_backup_duration BETA  (project)
Scheduled Backups - Last Backup Duration
GAUGE, INT64, s
metastore.googleapis.com/Service 		Es la duración de la última copia de seguridad programada que se realizó correctamente, expresada en segundos. Se hace un muestreo cada 60 segundos. Luego del muestreo, los datos no son visibles durante un máximo de 120 segundos.
state: Es el estado de la copia de seguridad, uno de [CORRECTO, CON ERRORES, EN_CURSO].
database_type: El tipo de base de datos, uno de [SQL, Spanner].
version: Es la versión de Hive Metastore del servicio.
service/scheduled_backups/last_backup_size BETA  (project)
Solicitud de copias de seguridad programadas: Tamaño de la última copia de seguridad
GAUGE, INT64, By
metastore.googleapis.com/Service 		Es el tamaño de la última copia de seguridad programada que se realizó correctamente, expresado en bytes. Se hace un muestreo cada 60 segundos. Luego del muestreo, los datos no son visibles durante un máximo de 120 segundos.
state: Estado de la copia de seguridad: [SUCCEEDED, FAILED, IN_PROGRESS].
database_type: El tipo de base de datos, uno de [SQL, Spanner].
version: Es la versión de Hive Metastore del servicio.

Tabla generada al 16/10/2024 a las 13:48:08 UTC.

Compila un panel personalizado de Monitoring

Puedes compilar un panel personalizado de Monitoring que muestre gráficos de métricas seleccionadas del servicio de Dataproc Metastore.

  1. Selecciona + CREAR PANEL en la página Descripción general de los paneles de Monitoring.

  2. Proporciona un nombre para el panel.

  3. En el menú de la esquina superior derecha, haz clic en Agregar gráfico para abrir la ventana Agregar gráfico.

  4. Para el tipo de recurso, selecciona Dataproc Metastore Service.

  5. Seleccione una o más métricas y sus propiedades de métricas y gráficos y, luego, haga clic en Haz clic en Guardar (Save) para guardar el gráfico.

  6. Agrega gráficos adicionales a tu panel si lo deseas.

  7. Para guardar el panel, haz clic en Guardar. Su título aparece en el panel de Descripción general de los paneles.

Puedes ver, actualizar y borrar gráficos de paneles desde la página de visualización de paneles.

Usa alertas de Monitoring

Puedes crear una alerta de Monitoring que te notifique cuando un servicio de Dataproc Metastore o una métrica de trabajo traspase un umbral especificado.

Crea una alerta

  1. En la consola de Google Cloud, abre Alertas de Monitoring.

  2. Para abrir el formulario Crear nueva política de alertas, haz clic en + CREAR POLÍTICA.

  3. Para definir una alerta, agrega condiciones de alerta, activadores de políticas, canales de notificación y documentación.

  4. Selecciona ADD CONDITION (AGREGAR CONDICIÓN) para abrir el formulario de condición de alerta con la pestaña Metric (Métrica) seleccionada.

  5. Completa los campos para definir una condición de alerta y, luego, haz clic en AGREGAR.

  6. Después de agregar la condición de alerta, completa la política de alertas mediante la configuración de los canales de notificación, activadores de políticas, documentación y el nombre de la política de alertas.

Ver alertas

Cuando una condición de límite de una métrica activa una alerta, Monitoring crea un incidente y un evento correspondiente. Puedes ver los incidentes desde la Supervisión de alertas en la consola de Google Cloud. Si definiste un mecanismo de notificación en la política de alertas, como una notificación por correo electrónico o SMS, Monitoring también envía una notificación del incidente.

Qué sigue