Cloud Monitoring

Cloud Monitoring vous offre une réelle visibilité sur les performances, le temps d'activité et l'état général de vos applications cloud. Google Cloud Observability collecte et ingère des métriques, des événements et des métadonnées Services Dataproc Metastore pour générer des insights à l'aide de tableaux de bord et des graphiques.

Accéder aux métriques du service dans Monitoring

Les métriques des ressources de service Dataproc Metastore sont automatiquement activées sur les services Dataproc Metastore. Monitoring permet d'afficher ces métriques.

Vous pouvez accéder à Monitoring depuis la console Google Cloud ou en utilisant l'API Monitoring.

Console

  1. Dans la console Google Cloud, accédez à Cloud Monitoring > Page "Explorateur de métriques":

    Accéder à la page Explorateur de métriques

  2. Dans la liste déroulante "Find resource type and metric" (Rechercher un type de ressource et une métrique), sélectionnez la ressource Dataproc Metastore Service souhaitée.

  3. Cliquez à nouveau dans la zone de saisie, puis sélectionnez une métrique dans la liste déroulante. Passez la souris sur le nom de la métrique pour afficher des informations la concernant.

Vous pouvez sélectionner des filtres, effectuer des regroupements par libellés de métriques, effectuer des agrégations et sélectionner les options d'affichage de graphiques.

REST

Vous pouvez utiliser l'API Monitoring timeSeries.list pour enregistrer et répertorier les métriques définies par une expression filter. Utilisez le modèle Try this API (Essayer cette API) sur la page de l'API pour envoyer une requête API et afficher la réponse.

Métriques du service Dataproc Metastore dans Monitoring

Métriques de Dataproc Metastore. Étapes de lancement de ces métriques: BÊTA DG

Les chaînes "Type de métrique" de ce tableau doivent être précédées du préfixe metastore.googleapis.com/. Ce préfixe a été omis dans les entrées du tableau. Lorsque vous interrogez une étiquette, utilisez le préfixe metric.labels. (par exemple, metric.labels.LABEL="VALUE").

Type de métrique Étape de lancement (niveaux de la hiérarchie des ressources)
Nom à afficher
Genre, type, unité
Ressources surveillées		 Description
Libellés
federation/health BÊTA  (project)
État du service de fédération
GAUGE, INT64, 1
metastore.googleapis.com/Federation 		État du service Federated Dataproc Metastore.
version : version du service Hive Metastore.
federation/server/request_count BÊTA (projet)
Nombre de requêtes au service de fédération
DELTA, INT64, {request}
metastore.googleapis.com/Federation 		Nombre de requêtes envoyées au service Dataproc Metastore fédéré.
method_name: Nom de la méthode de requête.
status: État de fin de la requête, l'un des suivants : [success, client_error, server_error].
version : version du service Hive Metastore.
service/grpc/finished_requests_count BÊTA (projet)
Nombre de requêtes gRPC terminées
DELTA, INT64, 1
metastore.googleapis.com/Service 		Nombre de requêtes terminées par le service gRPC Dataproc Metastore.
tier: Niveau de service ou taille d'instance du service, par exemple ENTERPRISE.
version: Version du métastore Hive du service.
status : état de la requête, par exemple "BAD_REQUEST".
method_name : nom de la méthode de requête.
service/grpc/received_bytes_count BÊTA (projet)
Octets gRPC reçus
DELTA, INT64, By
metastore.googleapis.com/Service 		Nombre d'octets reçus par le service Dataproc Metastore.
tier : niveau de service ou taille d'instance du service.
version : version du service Hive Metastore.
service/grpc/request_latencies BÊTA  (project)
Latences des requêtes gRPC
DELTA, DISTRIBUTION, ms
metastore.googleapis.com/Service 		Distribution des latences des requêtes gRPC pour un service Dataproc Metastore.
tier : niveau de service ou taille d'instance du service.
version: Version du métastore Hive du service.
status: État de la demande, par exemple "BAD_REQUEST".
method_name: Nom de la méthode de requête.
service/grpc/sent_bytes_count BÊTA  (projet)
Octets gRPC envoyés
DELTA, INT64, By
metastore.googleapis.com/Service 		Nombre d'octets envoyés par le service Dataproc Metastore.
tier: Niveau de service ou taille de l'instance du service.
version: Version du métastore Hive du service.
service/grpc/started_requests_count BÊTA  (project)
Nombre de requêtes gRPC lancées
DELTA, INT64, 1
metastore.googleapis.com/Service 		Nombre de requêtes reçues et démarrées par le service gRPC Dataproc Metastore.
tier : niveau de service ou taille d'instance du service.
version : version du service Hive Metastore.
method_name : nom de la méthode de requête.
service/grpc_client/finished_requests_count BÊTA (projet)
Nombre de requêtes client gRPC terminées
CUMULATIVE, INT64, 1
metastore.googleapis.com/Service 		Nombre total de RPC terminés sur le client, que ce soit avec succès ou non.
status: État de la demande, par exemple "BAD_REQUEST".
method_name: Nom de la méthode de requête.
service/grpc_client/received_bytes_count BÊTA  (projet)
Octets reçus par le client gRPC
CUMULATIVE, INT64, By
metastore.googleapis.com/Service 		Nombre d'octets reçus par le client gRPC.
service/grpc_client/request_latencies BÊTA (projet)
Latences des requêtes client gRPC
CUMULATIVE, DISTRIBUTION, ms
metastore.googleapis.com/Service 		Distribution des latences de requêtes gRPC pour un service Dataproc Metastore.
status: État de la demande, par exemple "BAD_REQUEST".
method_name: Nom de la méthode de requête.
service/grpc_client/sent_bytes_count BÊTA (projet)
Octets client gRPC envoyés
CUMULATIVE, INT64, By
metastore.googleapis.com/Service 		Nombre d'octets envoyés par le client gRPC.
service/grpc_client/started_requests_count BÊTA  (projet)
Nombre de requêtes client gRPC lancées
CUMULATIVE, INT64, 1
metastore.googleapis.com/Service 		Nombre de requêtes lancées par le client gRPC.
method_name: Nom de la méthode de requête.
service/health DG (projet)
État du service
GAUGE, INT64, 1
metastore.googleapis.com/Service 		État du service Dataproc Metastore.
tier: Niveau de service ou taille d'instance du service, par exemple ENTERPRISE.
version : version du service Hive Metastore.
release_tag: Tag de version Dataproc Metastore, renseigné par le backend du service et susceptible de changer au cours de sa durée de vie.
service/metadata/bytes_used BÊTA  (project)
Taille des métadonnées stockées dans le service Dataproc Metastore.
GAUGE, INT64, By
metastore.googleapis.com/Service 		Quantité de données stockées dans la base de données backend du service.
version : version du service Hive Metastore.
database_type : type de base de données, parmi [SQL, Spanner].
service/migration/replication_lag BÊTA  (project)
Latence de traitement du pipeline de réplication en secondes.
GAUGE, DOUBLE, s
metastore.googleapis.com/Service 		Durée maximale actuelle, en secondes, nécessaire pour répliquer les données dans Dataproc Metastore.
migration_id : ID de migration.
service/migration/write_throughput BÊTA  (project)
Débit d'écriture de la base de données de destination.
GAUGE, DOUBLE, By/s
metastore.googleapis.com/Service 		Débit actuel en écriture dans la base de données Dataproc Metastore où les données sont copiées pendant la phase de réplication.
migration_id : ID de migration.
service/multi_region/health GA  (project)
État du service multirégional
GAUGE, INT64, 1
metastore.googleapis.com/Service 		État du service multirégional Dataproc Metastore.
version: Version du métastore Hive du service.
release_tag: Tag de version Dataproc Metastore, renseigné par le backend du service et susceptible de changer au cours de sa durée de vie.
service_region: Région dans laquelle le service Dataproc Metastore est hébergé.
scaling_factor: Facteur de scaling du service : [0,1, 0,2, 0,3, 0,4, 0,5, 0,6, 0,7, 0,8, 0,9, 1,0, 2,0, 3,0, 4,0, 5,0 ou 6].
service/multi_region/request_count DG (projet)
Nombre de requêtes de service multirégional
DELTA, INT64, {request}
metastore.googleapis.com/Service 		Nombre de requêtes envoyées au service Dataproc Metastore multirégional.
method_name: Nom de la méthode de requête.
version : version du service Hive Metastore.
service_region : région constituante dans laquelle le service Dataproc Metastore est hébergé.
scaling_factor: Facteur de scaling du service : [0,1, 0,2, 0,3, 0,4, 0,5, 0,6, 0,7, 0,8, 0,9, 1,0, 2,0, 3,0, 4,0, 5,0 ou 6].
service/multi_region/request_latencies DG (projet)
Latences des requêtes de service multirégionales
DELTA, DISTRIBUTION, ms
metastore.googleapis.com/Service 		Latence des requêtes envoyées au service Dataproc Metastore multirégional.
method_name : nom de la méthode de requête.
version: Version du métastore Hive du service.
service_region : région constituante dans laquelle le service Dataproc Metastore est hébergé.
scaling_factor: Facteur de scaling du service : [0,1, 0,2, 0,3, 0,4, 0,5, 0,6, 0,7, 0,8, 0,9, 1,0, 2,0, 3,0, 4,0, 5,0 ou 6].
service/query_metadata/request_count BÊTA (projet)
Nombre de requêtes dans l'interface d'administration
DELTA, INT64, {request}
metastore.googleapis.com/Service 		Nombre de requêtes de l'interface administrateur.
database_type : type de base de données, parmi [SQL, Spanner].
code: Code d'état gRPC
service/query_metadata/request_latencies BÊTA (projet)
Latence des requêtes dans l'interface d'administration
DELTA, DISTRIBUTION, ms
metastore.googleapis.com/Service 		Latence de bout en bout des requêtes dans l'interface d'administration.
database_type: Type de base de données ([SQL, Spanner]).
code : code d'état gRPC.
service/request_count DG (projet)
Nombre de requêtes
DELTA, INT64, {request}
metastore.googleapis.com/Service 		Nombre de requêtes envoyées au service Dataproc Metastore.
method_name: Nom de la méthode de requête.
version: Version du métastore Hive du service.
service/scheduled_backups/backup_count BÊTA  (project)
Nombre de sauvegardes planifiées
DELTA, INT64, 1
metastore.googleapis.com/Service 		Nombre de sauvegardes planifiées actuellement stockées pour le service.
state: État de la sauvegarde ([SUCCEEDED, FAILED, IN_PROGRESS]).
database_type: Type de base de données ([SQL, Spanner]).
version: Version du métastore Hive du service.
service/scheduled_backups/last_backup_duration BÊTA (projet)
Sauvegardes planifiées – Durée de la dernière sauvegarde
GAUGE, INT64, s
metastore.googleapis.com/Service 		Durée en secondes de la dernière sauvegarde planifiée réussie. Échantillonné toutes les 60 secondes. Après échantillonnage, les données ne sont pas visibles pendant un délai pouvant atteindre 120 secondes.
state : État de la sauvegarde (SUCCEEDED, FAILED ou IN_PROGRESS).
database_type: Type de base de données ([SQL, Spanner]).
version: Version du métastore Hive du service.
service/scheduled_backups/last_backup_size BÊTA (projet)
Demande de sauvegardes planifiées – Taille de la dernière sauvegarde
GAUGE, INT64, By
metastore.googleapis.com/Service 		Taille en octets de la dernière sauvegarde planifiée réussie. Échantillonné toutes les 60 secondes. Après échantillonnage, les données ne sont pas visibles pendant un délai pouvant atteindre 120 secondes.
state : État de la sauvegarde (SUCCEEDED, FAILED ou IN_PROGRESS).
database_type : type de base de données, parmi [SQL, Spanner].
version: Version du métastore Hive du service.

Tableau généré le 16-10-2024 à 13:48:08 UTC.

Créer un tableau de bord Monitoring personnalisé

Vous pouvez créer un tableau de bord Monitoring personnalisé pour afficher les graphiques des métriques de service Dataproc Metastore sélectionnées.

  1. Sélectionnez + CRÉER UN TABLEAU DE BORD sur la page Aperçu des tableaux de bord de Monitoring.

  2. Attribuez un nom au tableau de bord.

  3. Dans le menu situé en haut à droite, cliquez sur Ajouter un graphique pour ouvrir la fenêtre "Ajouter un graphique".

  4. Pour le type de ressource, sélectionnez Dataproc Metastore Service.

  5. Sélectionnez une ou plusieurs métriques, ainsi que des propriétés de métrique et de graphique, puis cliquez sur Enregistrer pour enregistrer le graphique.

  6. Ajoutez des graphiques supplémentaires à votre tableau de bord si vous le souhaitez.

  7. Pour enregistrer le tableau de bord, cliquez sur Enregistrer. Son titre apparaît sur la page Aperçu des tableaux de bord de Monitoring.

Vous pouvez afficher, mettre à jour et supprimer des graphiques de tableau de bord à partir de la page d'affichage du tableau de bord.

Utiliser les alertes Monitoring

Vous pouvez créer une alerte Monitoring qui vous avertit lorsqu'une métrique de service ou de tâche Dataproc Metastore dépasse un seuil spécifié.

Créer une alerte

  1. Dans la console Google Cloud, ouvrez Alertes Monitoring.

  2. Pour ouvrir le formulaire Créer une règle d'alerte, cliquez sur + CRÉER UNE RÈGLE.

  3. Définissez une alerte en ajoutant des conditions d'alerte, des déclencheurs de règles, des canaux de notification et de la documentation.

  4. Cliquez sur ADD CONDITION (AJOUTER UNE CONDITION) pour ouvrir le formulaire de condition d'alerte avec l'onglet "Metric" (Métrique) sélectionné.

  5. Renseignez les champs pour définir une condition d'alerte, puis cliquez sur ADD (AJOUTER).

  6. Après avoir ajouté la condition d'alerte, complétez la règle d'alerte en définissant son nom, des canaux de notification, des déclencheurs de règles et de la documentation.

Afficher les alertes

Lorsqu'une condition de seuil de métrique déclenche une alerte, Monitoring crée un incident (et un événement correspondant). Vous pouvez consulter les incidents Alertes Monitoring de la console Google Cloud. Si vous avez spécifié un mécanisme de notification dans la règle d'alerte, telle qu'une notification par e-mail ou SMS, Monitoring se charge également d'envoyer une notification de l'incident.

Étape suivante