Cloud Monitoring vous offre une réelle visibilité sur les performances, le temps d'activité et l'état général de vos applications cloud. L'observabilité Google Cloud collecte et ingère des métriques, des événements et des métadonnées à partir des services Dataproc Metastore pour générer des insights à l'aide de tableaux de bord et de graphiques.
Consultez la page Tarifs Cloud Monitoring pour comprendre vos coûts.
Consultez la section Quotas et limites de Monitoring pour obtenir plus d'informations sur la conservation des données métriques.
Accéder aux métriques du service dans Monitoring
Les métriques des ressources de service Dataproc Metastore sont automatiquement activées sur les services Dataproc Metastore. Monitoring permet d'afficher ces métriques.
Vous pouvez accéder à Monitoring depuis la console Google Cloud ou l'API Monitoring.
Console
Dans la console Google Cloud, accédez à la page Cloud Monitoring > Explorateur de métriques:
Dans la liste déroulante "Find resource type and metric" (Rechercher un type de ressource et une métrique), sélectionnez la ressource
Dataproc Metastore Service
souhaitée.Cliquez à nouveau dans la zone de saisie, puis sélectionnez une métrique dans la liste déroulante. Passez la souris sur le nom de la métrique pour afficher des informations la concernant.
Vous pouvez sélectionner des filtres, effectuer des regroupements par libellés de métriques, effectuer des agrégations et sélectionner les options d'affichage de graphiques.
REST
Vous pouvez utiliser l'API Monitoring timeSeries.list pour enregistrer et répertorier les métriques définies par une expression filter
.
Utilisez le modèle Try this API (Essayer cette API) sur la page de l'API pour envoyer une requête API et afficher la réponse.
Métriques du service Dataproc Metastore dans Monitoring
Métriques issues de Dataproc Metastore. Étapes de lancement de ces métriques : BÊTA GA
Les chaînes "Type de métrique" de ce tableau doivent être précédées du préfixe metastore.googleapis.com/
. Ce préfixe a été omis dans les entrées du tableau.
Lorsque vous interrogez une étiquette, utilisez le préfixe metric.labels.
(par exemple, metric.labels.LABEL="VALUE"
).
Type de métriqueÉtape de lancement Nom à afficher |
|
---|---|
Genre, type, unité Ressources surveillées |
Description Libellés |
federation/server/request_count
BÊTA
Nombre de requêtes au service de fédération |
|
DELTA , INT64 , {request}
metastore.googleapis.com/Federation |
Nombre de requêtes envoyées au service fédéré Dataproc Metastore.
method_name : nom de la méthode de requête.
status : état de fin de la requête, défini sur [success, client_error, server_error].
version : version du métastore Hive du service.
|
service/grpc/finished_requests_count
BÊTA
Nombre de requêtes gRPC terminées |
|
DELTA , INT64 , 1
metastore.googleapis.com/Service |
Nombre de requêtes terminées par le service gRPC Dataproc Metastore.
tier : niveau de service ou taille de l'instance du service (par exemple, ENTERPRISE).
version : version du métastore Hive du service.
status : état de la requête, par exemple "BAD_REQUEST". method_name : nom de la méthode de requête.
|
service/grpc/received_bytes_count
BÊTA
Octets gRPC reçus |
|
DELTA , INT64 , By
metastore.googleapis.com/Service |
Nombre d'octets reçus par le service Dataproc Metastore.
tier : niveau de service ou taille de l'instance du service.
version : version du métastore Hive du service.
|
service/grpc/request_latencies
BÊTA
Latences des requêtes gRPC |
|
DELTA , DISTRIBUTION , ms
metastore.googleapis.com/Service |
Distribution de latences des requêtes gRPC pour un service Dataproc Metastore.
tier : niveau de service ou taille de l'instance du service.
version : version du métastore Hive du service.
status : état de la requête, par exemple "BAD_REQUEST". method_name : nom de la méthode de requête.
|
service/grpc/sent_bytes_count
BÊTA
Octets gRPC envoyés |
|
DELTA , INT64 , By
metastore.googleapis.com/Service |
Nombre d'octets envoyés par le service Dataproc Metastore.
tier : niveau de service ou taille de l'instance du service.
version : version du métastore Hive du service.
|
service/grpc/started_requests_count
BÊTA
Nombre de requêtes gRPC démarrées |
|
DELTA , INT64 , 1
metastore.googleapis.com/Service |
Nombre de requêtes reçues et démarrées par le service gRPC Dataproc Metastore.
tier : niveau de service ou taille de l'instance du service.
version : version du métastore Hive du service.
method_name : nom de la méthode de requête.
|
service/health
GA
État du service |
|
GAUGE , INT64 , 1
metastore.googleapis.com/Service |
État du service Dataproc Metastore.
tier : niveau de service ou taille de l'instance du service (par exemple, ENTERPRISE).
version : version du métastore Hive du service.
release_tag : tag de version Dataproc Metastore, renseigné par le backend du service et susceptible de changer au cours de la durée de vie du service.
|
service/multi_region/health
GA
État du service multirégional |
|
GAUGE , INT64 , 1
metastore.googleapis.com/Service |
État du service multirégional Dataproc Metastore.
version : version du métastore Hive du service.
release_tag : tag de version Dataproc Metastore, renseigné par le backend du service et susceptible de changer au cours de la durée de vie du service.
service_region : région constituante dans laquelle le service Dataproc Metastore est hébergé.
scaling_factor : facteur de scaling du service, défini parmi les valeurs suivantes : [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0, 2.0, 3.0, 4.0, 5.0, 6.0].
|
service/multi_region/request_count
GA
Nombre de requêtes de service multirégionales |
|
DELTA , INT64 , {request}
metastore.googleapis.com/Service |
Nombre de requêtes envoyées au service multirégional Dataproc Metastore.
method_name : nom de la méthode de requête.
version : version du métastore Hive du service.
service_region : région constituante dans laquelle le service Dataproc Metastore est hébergé.
scaling_factor : facteur de scaling du service, défini parmi les valeurs suivantes : [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0, 2.0, 3.0, 4.0, 5.0, 6.0].
|
service/multi_region/request_latencies
GA
Latences des requêtes de service multirégionales |
|
DELTA , DISTRIBUTION , ms
metastore.googleapis.com/Service |
Latences des requêtes envoyées au service multirégional Dataproc Metastore.
method_name : nom de la méthode de requête.
version : version du métastore Hive du service.
service_region : région constituante dans laquelle le service Dataproc Metastore est hébergé.
scaling_factor : facteur de scaling du service, défini parmi les valeurs suivantes : [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0, 2.0, 3.0, 4.0, 5.0, 6.0].
|
service/query_metadata/request_count
BÊTA
Nombre de requêtes effectuées via l'interface d'administration |
|
DELTA , INT64 , {request}
metastore.googleapis.com/Service |
Nombre de requêtes envoyées à l'interface d'administration.
database_type : type de base de données (SQL ou Spanner).
code : code d'état gRPC.
|
service/query_metadata/request_latencies
BÊTA
Latence des requêtes via l'interface d'administration |
|
DELTA , DISTRIBUTION , ms
metastore.googleapis.com/Service |
Latence de bout en bout des requêtes envoyées à l'interface d'administration.
database_type : type de base de données (SQL ou Spanner).
code : code d'état gRPC.
|
service/request_count
GA
Nombre de requêtes |
|
DELTA , INT64 , {request}
metastore.googleapis.com/Service |
Nombre de requêtes envoyées au service Dataproc Metastore.
method_name : nom de la méthode de requête.
version : version du métastore Hive du service.
|
service/scheduled_backups/backup_count
BÊTA
Nombre de sauvegardes planifiées |
|
DELTA , INT64 , 1
metastore.googleapis.com/Service |
Nombre de sauvegardes planifiées actuellement stockées pour le service.
state : état de la sauvegarde, défini sur [SUCCEEDED, FAILED, IN_PROGRESS].
database_type : type de base de données (SQL ou Spanner).
version : version du métastore Hive du service.
|
service/scheduled_backups/last_backup_duration
BÊTA
Sauvegardes planifiées – Durée de la dernière sauvegarde |
|
GAUGE , INT64 , s
metastore.googleapis.com/Service |
Durée de la dernière sauvegarde planifiée réussie (en secondes). Échantillonné toutes les 60 secondes. Après échantillonnage, les données ne sont pas visibles pendant un délai pouvant atteindre 120 secondes.
state : état de la sauvegarde, défini sur [SUCCEEDED, FAILED, IN_PROGRESS].
database_type : type de base de données (SQL ou Spanner).
version : version du métastore Hive du service.
|
service/scheduled_backups/last_backup_size
BÊTA
Demande de sauvegardes planifiées – Taille de la dernière sauvegarde |
|
GAUGE , INT64 , By
metastore.googleapis.com/Service |
Taille en octets de la dernière sauvegarde planifiée réussie. Échantillonné toutes les 60 secondes. Après échantillonnage, les données ne sont pas visibles pendant un délai pouvant atteindre 120 secondes.
state : état de la sauvegarde, défini sur [SUCCEEDED, FAILED, IN_PROGRESS].
database_type : type de base de données (SQL ou Spanner).
version : version du métastore Hive du service.
|
Tableau généré le 11-04-2024 à 19:12:46 UTC.
Créer un tableau de bord Monitoring personnalisé
Vous pouvez créer un tableau de bord Monitoring personnalisé pour afficher les graphiques des métriques de service Dataproc Metastore sélectionnées.
Sélectionnez + CRÉER UN TABLEAU DE BORD sur la page Aperçu des tableaux de bord de Monitoring.
Attribuez un nom au tableau de bord.
Dans le menu situé en haut à droite, cliquez sur Ajouter un graphique pour ouvrir la fenêtre "Ajouter un graphique".
Pour le type de ressource, sélectionnez
Dataproc Metastore Service
.Sélectionnez une ou plusieurs métriques, ainsi que des propriétés de métrique et de graphique, puis cliquez sur Enregistrer pour enregistrer le graphique.
Ajoutez des graphiques supplémentaires à votre tableau de bord si vous le souhaitez.
Pour enregistrer le tableau de bord, cliquez sur Enregistrer . Son titre apparaît sur la page Aperçu des tableaux de bord de Monitoring.
Vous pouvez afficher, mettre à jour et supprimer des graphiques de tableau de bord à partir de la page d'affichage du tableau de bord.
Utiliser les alertes Monitoring
Vous pouvez créer une alerte Monitoring qui vous avertit lorsqu'une métrique de service ou de tâche Dataproc Metastore dépasse un seuil spécifié.
Créer une alerte
Dans la console Google Cloud, ouvrez Alertes Monitoring.
Pour ouvrir le formulaire Créer une règle d'alerte, cliquez sur + CRÉER UNE RÈGLE.
Définissez une alerte en ajoutant des conditions d'alerte, des déclencheurs de règles, des canaux de notification et de la documentation.
Cliquez sur ADD CONDITION (AJOUTER UNE CONDITION) pour ouvrir le formulaire de condition d'alerte avec l'onglet "Metric" (Métrique) sélectionné.
Renseignez les champs pour définir une condition d'alerte, puis cliquez sur ADD (AJOUTER).
Après avoir ajouté la condition d'alerte, complétez la règle d'alerte en définissant son nom, des canaux de notification, des déclencheurs de règles et de la documentation.
Afficher les alertes
Lorsqu'une condition de seuil de métrique déclenche une alerte, Monitoring crée un incident (et un événement correspondant). Vous pouvez afficher les incidents depuis la page Alertes Monitoring dans la console Google Cloud. Si vous avez spécifié un mécanisme de notification dans la règle d'alerte, telle qu'une notification par e-mail ou SMS, Monitoring se charge également d'envoyer une notification de l'incident.