Cloud Monitoring

Cloud Monitoring vous offre une réelle visibilité sur les performances, le temps d'activité et l'état général de vos applications cloud. L'observabilité Google Cloud collecte et ingère des métriques, des événements et des métadonnées à partir des services Dataproc Metastore pour générer des insights à l'aide de tableaux de bord et de graphiques.

Accéder aux métriques du service dans Monitoring

Les métriques des ressources de service Dataproc Metastore sont automatiquement activées sur les services Dataproc Metastore. Monitoring permet d'afficher ces métriques.

Vous pouvez accéder à Monitoring depuis la console Google Cloud ou l'API Monitoring.

Console

  1. Dans la console Google Cloud, accédez à la page Cloud Monitoring > Explorateur de métriques:

    Accéder à la page "Explorateur de métriques"

  2. Dans la liste déroulante "Find resource type and metric" (Rechercher un type de ressource et une métrique), sélectionnez la ressource Dataproc Metastore Service souhaitée.

  3. Cliquez à nouveau dans la zone de saisie, puis sélectionnez une métrique dans la liste déroulante. Passez la souris sur le nom de la métrique pour afficher des informations la concernant.

Vous pouvez sélectionner des filtres, effectuer des regroupements par libellés de métriques, effectuer des agrégations et sélectionner les options d'affichage de graphiques.

REST

Vous pouvez utiliser l'API Monitoring timeSeries.list pour enregistrer et répertorier les métriques définies par une expression filter. Utilisez le modèle Try this API (Essayer cette API) sur la page de l'API pour envoyer une requête API et afficher la réponse.

Métriques du service Dataproc Metastore dans Monitoring

Métriques issues de Dataproc Metastore. Étapes de lancement de ces métriques : BÊTA GA

Les chaînes "Type de métrique" de ce tableau doivent être précédées du préfixe metastore.googleapis.com/. Ce préfixe a été omis dans les entrées du tableau. Lorsque vous interrogez une étiquette, utilisez le préfixe metric.labels. (par exemple, metric.labels.LABEL="VALUE").

Type de métriqueÉtape de lancement
Nom à afficher
Genre, type, unité
Ressources surveillées		 Description
Libellés
federation/server/request_count BÊTA
Nombre de requêtes au service de fédération
DELTA, INT64, {request}
metastore.googleapis.com/Federation 		Nombre de requêtes envoyées au service fédéré Dataproc Metastore.
method_name : nom de la méthode de requête.
status : état de fin de la requête, défini sur [success, client_error, server_error].
version : version du métastore Hive du service.
service/grpc/finished_requests_count BÊTA
Nombre de requêtes gRPC terminées
DELTA, INT64, 1
metastore.googleapis.com/Service 		Nombre de requêtes terminées par le service gRPC Dataproc Metastore.
tier : niveau de service ou taille de l'instance du service (par exemple, ENTERPRISE).
version : version du métastore Hive du service.
status : état de la requête, par exemple "BAD_REQUEST".
method_name : nom de la méthode de requête.
service/grpc/received_bytes_count BÊTA
Octets gRPC reçus
DELTA, INT64, By
metastore.googleapis.com/Service 		Nombre d'octets reçus par le service Dataproc Metastore.
tier : niveau de service ou taille de l'instance du service.
version : version du métastore Hive du service.
service/grpc/request_latencies BÊTA
Latences des requêtes gRPC
DELTA, DISTRIBUTION, ms
metastore.googleapis.com/Service 		Distribution de latences des requêtes gRPC pour un service Dataproc Metastore.
tier : niveau de service ou taille de l'instance du service.
version : version du métastore Hive du service.
status : état de la requête, par exemple "BAD_REQUEST".
method_name : nom de la méthode de requête.
service/grpc/sent_bytes_count BÊTA
Octets gRPC envoyés
DELTA, INT64, By
metastore.googleapis.com/Service 		Nombre d'octets envoyés par le service Dataproc Metastore.
tier : niveau de service ou taille de l'instance du service.
version : version du métastore Hive du service.
service/grpc/started_requests_count BÊTA
Nombre de requêtes gRPC démarrées
DELTA, INT64, 1
metastore.googleapis.com/Service 		Nombre de requêtes reçues et démarrées par le service gRPC Dataproc Metastore.
tier : niveau de service ou taille de l'instance du service.
version : version du métastore Hive du service.
method_name : nom de la méthode de requête.
service/health GA
État du service
GAUGE, INT64, 1
metastore.googleapis.com/Service 		État du service Dataproc Metastore.
tier : niveau de service ou taille de l'instance du service (par exemple, ENTERPRISE).
version : version du métastore Hive du service.
release_tag : tag de version Dataproc Metastore, renseigné par le backend du service et susceptible de changer au cours de la durée de vie du service.
service/multi_region/health GA
État du service multirégional
GAUGE, INT64, 1
metastore.googleapis.com/Service 		État du service multirégional Dataproc Metastore.
version : version du métastore Hive du service.
release_tag : tag de version Dataproc Metastore, renseigné par le backend du service et susceptible de changer au cours de la durée de vie du service.
service_region : région constituante dans laquelle le service Dataproc Metastore est hébergé.
scaling_factor : facteur de scaling du service, défini parmi les valeurs suivantes : [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0, 2.0, 3.0, 4.0, 5.0, 6.0].
service/multi_region/request_count GA
Nombre de requêtes de service multirégionales
DELTA, INT64, {request}
metastore.googleapis.com/Service 		Nombre de requêtes envoyées au service multirégional Dataproc Metastore.
method_name : nom de la méthode de requête.
version : version du métastore Hive du service.
service_region : région constituante dans laquelle le service Dataproc Metastore est hébergé.
scaling_factor : facteur de scaling du service, défini parmi les valeurs suivantes : [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0, 2.0, 3.0, 4.0, 5.0, 6.0].
service/multi_region/request_latencies GA
Latences des requêtes de service multirégionales
DELTA, DISTRIBUTION, ms
metastore.googleapis.com/Service 		Latences des requêtes envoyées au service multirégional Dataproc Metastore.
method_name : nom de la méthode de requête.
version : version du métastore Hive du service.
service_region : région constituante dans laquelle le service Dataproc Metastore est hébergé.
scaling_factor : facteur de scaling du service, défini parmi les valeurs suivantes : [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0, 2.0, 3.0, 4.0, 5.0, 6.0].
service/query_metadata/request_count BÊTA
Nombre de requêtes effectuées via l'interface d'administration
DELTA, INT64, {request}
metastore.googleapis.com/Service 		Nombre de requêtes envoyées à l'interface d'administration.
database_type : type de base de données (SQL ou Spanner).
code : code d'état gRPC.
service/query_metadata/request_latencies BÊTA
Latence des requêtes via l'interface d'administration
DELTA, DISTRIBUTION, ms
metastore.googleapis.com/Service 		Latence de bout en bout des requêtes envoyées à l'interface d'administration.
database_type : type de base de données (SQL ou Spanner).
code : code d'état gRPC.
service/request_count GA
Nombre de requêtes
DELTA, INT64, {request}
metastore.googleapis.com/Service 		Nombre de requêtes envoyées au service Dataproc Metastore.
method_name : nom de la méthode de requête.
version : version du métastore Hive du service.
service/scheduled_backups/backup_count BÊTA
Nombre de sauvegardes planifiées
DELTA, INT64, 1
metastore.googleapis.com/Service 		Nombre de sauvegardes planifiées actuellement stockées pour le service.
state : état de la sauvegarde, défini sur [SUCCEEDED, FAILED, IN_PROGRESS].
database_type : type de base de données (SQL ou Spanner).
version : version du métastore Hive du service.
service/scheduled_backups/last_backup_duration BÊTA
Sauvegardes planifiées – Durée de la dernière sauvegarde
GAUGE, INT64, s
metastore.googleapis.com/Service 		Durée de la dernière sauvegarde planifiée réussie (en secondes). Échantillonné toutes les 60 secondes. Après échantillonnage, les données ne sont pas visibles pendant un délai pouvant atteindre 120 secondes.
state : état de la sauvegarde, défini sur [SUCCEEDED, FAILED, IN_PROGRESS].
database_type : type de base de données (SQL ou Spanner).
version : version du métastore Hive du service.
service/scheduled_backups/last_backup_size BÊTA
Demande de sauvegardes planifiées – Taille de la dernière sauvegarde
GAUGE, INT64, By
metastore.googleapis.com/Service 		Taille en octets de la dernière sauvegarde planifiée réussie. Échantillonné toutes les 60 secondes. Après échantillonnage, les données ne sont pas visibles pendant un délai pouvant atteindre 120 secondes.
state : état de la sauvegarde, défini sur [SUCCEEDED, FAILED, IN_PROGRESS].
database_type : type de base de données (SQL ou Spanner).
version : version du métastore Hive du service.

Tableau généré le 11-04-2024 à 19:12:46 UTC.

Créer un tableau de bord Monitoring personnalisé

Vous pouvez créer un tableau de bord Monitoring personnalisé pour afficher les graphiques des métriques de service Dataproc Metastore sélectionnées.

  1. Sélectionnez + CRÉER UN TABLEAU DE BORD sur la page Aperçu des tableaux de bord de Monitoring.

  2. Attribuez un nom au tableau de bord.

  3. Dans le menu situé en haut à droite, cliquez sur Ajouter un graphique pour ouvrir la fenêtre "Ajouter un graphique".

  4. Pour le type de ressource, sélectionnez Dataproc Metastore Service.

  5. Sélectionnez une ou plusieurs métriques, ainsi que des propriétés de métrique et de graphique, puis cliquez sur Enregistrer pour enregistrer le graphique.

  6. Ajoutez des graphiques supplémentaires à votre tableau de bord si vous le souhaitez.

  7. Pour enregistrer le tableau de bord, cliquez sur Enregistrer . Son titre apparaît sur la page Aperçu des tableaux de bord de Monitoring.

Vous pouvez afficher, mettre à jour et supprimer des graphiques de tableau de bord à partir de la page d'affichage du tableau de bord.

Utiliser les alertes Monitoring

Vous pouvez créer une alerte Monitoring qui vous avertit lorsqu'une métrique de service ou de tâche Dataproc Metastore dépasse un seuil spécifié.

Créer une alerte

  1. Dans la console Google Cloud, ouvrez Alertes Monitoring.

  2. Pour ouvrir le formulaire Créer une règle d'alerte, cliquez sur + CRÉER UNE RÈGLE.

  3. Définissez une alerte en ajoutant des conditions d'alerte, des déclencheurs de règles, des canaux de notification et de la documentation.

  4. Cliquez sur ADD CONDITION (AJOUTER UNE CONDITION) pour ouvrir le formulaire de condition d'alerte avec l'onglet "Metric" (Métrique) sélectionné.

  5. Renseignez les champs pour définir une condition d'alerte, puis cliquez sur ADD (AJOUTER).

  6. Après avoir ajouté la condition d'alerte, complétez la règle d'alerte en définissant son nom, des canaux de notification, des déclencheurs de règles et de la documentation.

Afficher les alertes

Lorsqu'une condition de seuil de métrique déclenche une alerte, Monitoring crée un incident (et un événement correspondant). Vous pouvez afficher les incidents depuis la page Alertes Monitoring dans la console Google Cloud. Si vous avez spécifié un mécanisme de notification dans la règle d'alerte, telle qu'une notification par e-mail ou SMS, Monitoring se charge également d'envoyer une notification de l'incident.

Étape suivante