Cloud Monitoring

Cloud Monitoring vous offre une réelle visibilité sur les performances, le temps d'activité et l'état général de vos applications cloud. La suite d'opérations de Google Cloud collecte et ingère des métriques, des événements et des métadonnées à partir de clusters Dataproc, y compris des métriques HDFS, YARN, des tâches et des opérations, pour générer des insights via des tableaux de bord et des graphiques (voir la section { 10.1Métriques Cloud Dataproc Dataproc).

Utilisez les métriques de cluster Cloud Monitoring pour surveiller les performances et l'état des clusters Dataproc.

Métriques de cluster Cloud Monitoring

Les métriques des ressources de cluster Dataproc sont automatiquement activées sur les clusters Dataproc. Monitoring permet d'afficher ces métriques.

Vous pouvez accéder à Monitoring depuis Google Cloud Console ou en utilisant l'API Monitoring.

Console

  1. Après avoir créé un cluster, accédez à Monitoring dans Cloud Console pour afficher les données de surveillance le concernant.

    Lorsque la console Monitoring s'affiche, vous pouvez installer l'agent de surveillance sur les VM de votre projet comme étape de configuration supplémentaire. Il n'est pas nécessaire d'installer l'agent sur les VM des clusters Dataproc, car cette étape est effectuée automatiquement lorsque vous créez un cluster Dataproc.

  2. Sélectionnez Metrics Explorer (Explorateur de métriques). Dans la liste déroulante "Find resource type and metric" (Rechercher un type de ressource et une métrique), sélectionnez la ressource "Cloud Dataproc Cluster" (Cluster Cloud Dataproc) ou saisissez "cloud_dataproc_cluster" dans la zone.
  3. Cliquez à nouveau dans la zone de saisie, puis sélectionnez une métrique dans la liste déroulante. Dans la capture d'écran suivante, la métrique "YARN memory size" (Taille de mémoire YARN) est sélectionnée. Passez la souris sur le nom de la métrique pour afficher des informations la concernant.

    Vous pouvez sélectionner des filtres, regrouper des métriques par libellés, effectuer des agrégations et sélectionner les options d'affichage des graphiques (consultez la documentation Monitoring).

API

Vous pouvez utiliser l'API Monitoring timeSeries.list pour enregistrer et répertorier les métriques définies par une expression filter. Utilisez le modèle Try this API (Essayer cette API) sur la page de l'API pour envoyer une requête API et afficher la réponse.

Exemple : Voici un instantané d'une requête modélisée et la réponse JSON renvoyée pour les paramètres timeSeries.list Monitoring suivants :

  • name : projects/example-project-id
  • filter : metric.type="dataproc.googleapis.com/cluster/hdfs/storage_capacity"
  • interval.endTime : 2018-02-27T11:54:00.000-08:00
  • interval.startTime : 2018-02-20T00:00:00.000-08:00

Créer un tableau de bord Monitoring personnalisé

Vous pouvez créer un tableau de bord Monitoring personnalisé pour afficher les graphiques des métriques de cluster Cloud Dataproc sélectionnées.

  1. Sélectionnez + CRÉER UN TABLEAU DE BORD sur la page Aperçu des tableaux de bord de Monitoring. Attribuez un nom au tableau de bord, puis cliquez sur Add Chart (Ajouter un graphique) dans le menu situé dans l'angle supérieur droit pour ouvrir la fenêtre correspondante. Sélectionnez le type de ressource "Cloud Dataproc Cluster" (Cluster Cloud Dataproc). Sélectionnez une ou plusieurs métriques, ainsi que des propriétés de métrique et de graphique. Ensuite, enregistrez le graphique.

  2. Vous pouvez ajouter des graphiques supplémentaires à votre tableau de bord. Une fois que vous avez enregistré le tableau de bord, son nom apparaît sur la page Aperçu des tableaux de bord de Monitoring. Les graphiques de tableau de bord peuvent être consultés, mis à jour et supprimés depuis la page d'affichage du tableau de bord.

Utiliser les alertes Monitoring

Vous pouvez créer une alerte Monitoring qui vous avertit lorsqu'une métrique de cluster ou de tâche Dataproc dépasse un certain seuil, par exemple lorsque la capacité disponible HDFS est faible.

Créer une alerte

  1. Ouvrez Alertes Monitoring dans Cloud Console. Cliquez sur + CRÉER UNE RÈGLE pour ouvrir le formulaire Create new alerting policy (Créer une règle d'alerte). Définissez une alerte en ajoutant des conditions d'alerte, des déclencheurs de règles, des canaux de notification et de la documentation.

  2. Cliquez sur ADD CONDITION (AJOUTER UNE CONDITION) pour ouvrir le formulaire de condition d'alerte avec l'onglet "Metric" (Métrique) sélectionné. Renseignez les champs pour définir une condition d'alerte, puis cliquez sur ADD (AJOUTER). L'exemple de condition d'alerte ci-dessous se déclenche lorsque la capacité HDFS du cluster Dataproc passe en dessous du seuil de 930 Gio (Go binaires) spécifié (998 579 896 320 octets) pendant une minute.

  3. Après avoir ajouté la condition d'alerte, complétez la règle d'alerte en définissant son nom, des canaux de notification, des déclencheurs de règles et de la documentation.

Afficher les alertes

Lorsqu'une condition de seuil de métrique déclenche une alerte, Monitoring crée un incident (et un événement correspondant). Vous pouvez afficher les incidents à partir de la page Alertes Monitoring dans Cloud Console. Si vous avez spécifié un mécanisme de notification dans la règle d'alerte, telle qu'une notification par mail ou SMS, Monitoring se charge également d'envoyer une notification de l'incident.

Étape suivante