Surveiller Cloud Bigtable

Vous pouvez surveiller Cloud Bigtable visuellement à l'aide des graphiques disponibles dans Google Cloud Console et Cloud Monitoring, ou de manière automatisée, à l'aide de Cloud Monitoring.

Les données disponibles via Google Cloud Console et Cloud Monitoring fournissent une vue d'ensemble de l'utilisation de Cloud Bigtable. Vous pouvez également avoir recours à l'outil Key Visualizer pour explorer dans le détail vos modèles d'accès par clé de ligne et résoudre des problèmes de performances spécifiques. Pour plus d'informations, consultez la page Premiers pas avec Key Visualizer.

Comprendre l'utilisation du processeur et du disque

Quels que soient les outils utilisés pour surveiller votre instance, il est essentiel de surveiller l'utilisation du processeur et du disque pour chaque cluster de l'instance. Si l'utilisation du processeur ou du disque d'un cluster dépasse certains seuils, le cluster ne fonctionne pas correctement et risque de renvoyer des erreurs lorsque vous essayez de lire ou d'écrire des données.

Utilisation du processeur

Les nœuds de vos clusters utilisent les ressources de processeur pour gérer les opérations de lecture et d'écriture ainsi que les tâches d'administration. Pour en savoir plus sur l'impact du nombre de nœuds sur les performances d'un cluster, consultez la section Performances pour des charges de travail types.

Cloud Bigtable enregistre les métriques d'utilisation du processeur suivantes :

Métrique Description
Utilisation moyenne du processeur

Utilisation moyenne du processeur sur tous les nœuds du cluster.

Les valeurs maximales recommandées fournissent une marge pour de brefs pics d'utilisation.

Si un cluster dépasse la valeur maximale recommandée pour votre configuration pendant plus de quelques minutes, ajoutez des nœuds au cluster.

Utilisation du processeur du nœud le plus sollicité

Utilisation du processeur pour le nœud le plus actif dans le cluster.

Si le nœud le plus sollicité est souvent au-dessus de la valeur recommandée, même si l'utilisation moyenne du processeur est raisonnable, il se peut que vous accédiez à une petite partie de vos données plus souvent qu'au reste de vos données.

  • Utilisez l'outil Key Visualizer pour identifier les hotspots de votre table susceptibles de causer des pics d'utilisation du processeur.
  • Vérifiez la conception du schéma pour vous assurer qu'il accepte la répartition uniforme des opérations de lecture et d'écriture sur chaque table.

Les valeurs de ces métriques ne doivent pas dépasser les valeurs suivantes :

Configuration Valeurs maximales recommandées
Cluster unique

70 % de l'utilisation moyenne du processeur
90 % de l'utilisation du processeur pour le nœud le plus sollicité

Nombre illimité de clusters avec routage vers un cluster unique

70 % de l'utilisation moyenne du processeur
90 % de l'utilisation du processeur pour le nœud le plus sollicité

Deux clusters avec routage multicluster

35 % de l'utilisation moyenne du processeur
45 % de l'utilisation du processeur pour le nœud le plus sollicité

Trois clusters ou plus avec routage multicluster

Dépend de votre configuration. Consultez la page Exemples de paramètres de réplication pour découvrir les cas d'utilisation courants.

Espace disque utilisé

Cloud Bigtable stocke une copie distincte de toutes les tables de l'instance pour chacun de ses clusters.

Cloud Bigtable suit l'utilisation du disque en unités binaires, telles que les gigaoctets binaires (Go), où 1 Go correspond à 230 octets. Cette unité de mesure est également appelée gibioctet (Gio).

Cloud Bigtable enregistre les métriques d'utilisation du disque suivantes :

Métrique Description
Utilisation du stockage (octets)

Quantité de données stockées dans le cluster.

Cette valeur affecte les coûts. En outre, comme décrit ci-dessous, vous aurez peut-être à ajouter des nœuds à chaque cluster au fur et à mesure de l'augmentation de la quantité de données.

Utilisation du stockage (% max.)

Pourcentage de la capacité de stockage du cluster qui est utilisée. La capacité est basée sur le nombre de nœuds présents dans le cluster.

En général, faites en sorte de ne pas utiliser plus de 70 % de la limite stricte de stockage total. Il restera ainsi de la place pour ajouter des données. Si vous ne prévoyez pas d'ajouter de grandes quantités de données à l'instance, vous pouvez utiliser jusqu'à 100 % de la limite stricte.

Si vous dépassez le pourcentage recommandé de la limite de stockage, ajoutez des nœuds au cluster. Vous pouvez également supprimer des données existantes, mais les données supprimées occupent non pas moins mais plus d'espace, jusqu'à ce qu'un compactage se produise.

Pour savoir comment cette valeur est calculée, consultez la section Utilisation du stockage par nœud.

Charge du disque

Pourcentage de bande passante utilisé par votre cluster pour les opérations de lecture et d'écriture sur HDD par rapport à la bande passante maximale possible. Disponible uniquement pour les clusters HDD.

Si cette valeur est souvent égale à 100 %, vous risquez de rencontrer des taux de latence plus élevés. Ajoutez des nœuds au cluster pour réduire le pourcentage de charge du disque.

Obtenir une synthèse des performances avec Cloud Console

La page de présentation de votre instance permet de comprendre l'état actuel des clusters de l'instance.

La page de présentation affiche les valeurs actuelles de plusieurs métriques clés pour chaque cluster :

Métrique Description
Utilisation moyenne du processeur Utilisation moyenne du processeur sur tous les nœuds du cluster.
Utilisation du processeur du nœud le plus sollicité

Utilisation du processeur pour le nœud le plus actif dans le cluster.

Le dépassement de l'utilisation maximale recommandée peut provoquer des temps de latence et d'autres problèmes pour le cluster.

Lignes lues Nombre de lignes lues par seconde.
Lignes écrites Nombre de lignes écrites par seconde.
Débit en lecture Nombre d'octets non compressés par seconde des données de réponse envoyées. Cette métrique fait référence à la quantité totale de données renvoyée après l'application des filtres.
Débit en écriture Nombre d'octets non compressés par seconde reçus lors de l'écriture des données.
Taux d'erreur système Pourcentage de toutes les requêtes ayant échoué sur Cloud Bigtable côté serveur.
Latence de réplication en entrée Durée la plus élevée au 99e centile, en secondes, pour qu'une écriture dans un autre cluster soit répliquée sur ce cluster.
Latence de réplication en sortie Durée la plus élevée au 99e centile, en secondes, pour qu'une écriture dans ce cluster soit répliquée dans un autre cluster.

Pour obtenir une présentation de ces métriques clés :

  1. Ouvrez la liste des instances Cloud Bigtable dans Cloud Console.

    Ouvrir la liste des instances

  2. Cliquez sur l'instance dont vous souhaitez consulter les métriques. Cloud Console affiche les métriques actuelles pour les clusters de votre instance.

Surveiller les performances dans le temps avec Cloud Console

La page de surveillance de votre instance permet de comprendre les performances passées de l'instance. Vous pouvez analyser les performances de chaque cluster et ventiler les métriques pour différents types de ressources Cloud Bigtable. Les graphiques peuvent afficher une période allant de la dernière heure aux 30 derniers jours.

Graphiques pour les ressources Cloud Bigtable

La page de surveillance fournit des graphiques pour les types de ressources Cloud Bigtable suivants :

  • Instances
  • Tables
  • Profils d'application

Les graphiques sont disponibles pour les métriques suivantes :

Métrique Action disponible pour Description
Utilisation du processeur Instances Utilisation moyenne du processeur sur tous les nœuds du cluster.
Utilisation du processeur (nœud le plus sollicité) Instances

Utilisation du processeur pour le nœud le plus actif dans le cluster.

Le dépassement de l'utilisation maximale recommandée peut provoquer des temps de latence et d'autres problèmes pour le cluster.

Taux d'erreur utilisateur Instances

Taux d'erreurs provoquées par le contenu d'une requête, par rapport aux erreurs sur Cloud Bigtable côté serveur. Les taux d'erreurs utilisateur comprennent les codes d'état suivants :

  • INVALID_ARGUMENT
  • NOT_FOUND
  • PERMISSION_DENIED
  • RESOURCE_EXHAUSTED
  • OUT_OF_RANGE

Les erreurs utilisateur sont généralement causées par un problème de configuration, tel qu'une requête spécifiant un cluster, une table ou un profil d'application incorrect.

Taux d'erreur système Instances
Tables
Profils d'application
Pourcentage de toutes les requêtes ayant échoué sur Cloud Bigtable côté serveur. Les taux d'erreurs système comprennent les codes d'état suivants :
  • UNKNOWN
  • ABORTED
  • UNIMPLEMENTED
  • INTERNAL
  • UNAVAILABLE
Basculements automatiques Instances
Tables
Profils d'application

Nombre de requêtes ayant été automatiquement réacheminées d'un cluster vers un autre dans le cadre d'un scénario de basculement (par exemple une brève interruption ou un retard). Le réacheminement automatique peut se produire si un profil d'application utilise le routage multicluster.

Ce graphique n'inclut pas les requêtes réacheminées manuellement.

Utilisation du stockage (octets) Instances
Tables

Quantité de données stockées dans le cluster.

Cette métrique prend en compte la compression de vos données par Cloud Bigtable lors de leur stockage.

Utilisation du stockage (% max.) Instances

Pourcentage utilisé de la capacité de stockage du cluster. La capacité est basée sur le nombre de nœuds présents dans le cluster.

Pour savoir comment cette valeur est calculée, consultez la section Utilisation du stockage par nœud.

Charge du disque Instances Pourcentage de bande passante utilisé par votre cluster en lecture et en écriture HDD par rapport à la bande passante maximale possible. Disponible uniquement pour les clusters HDD.
Lignes lues Instances
Tables
Profils d'application

Nombre de lignes lues par seconde.

Cette métrique fournit un meilleur aperçu du débit global de Cloud Bigtable que le nombre de requêtes de lecture, car un grand nombre de lignes peuvent être lues via une seule requête.

Lignes écrites Instances
Tables
Profils d'application

Nombre de lignes écrites par seconde.

Cette métrique fournit un meilleur aperçu du débit global de Cloud Bigtable que le nombre de requêtes d'écriture, car un grand nombre de lignes peuvent être écrites via une seule requête.

Requêtes de lecture Instances
Tables
Profils d'application
Nombre de requêtes de lecture aléatoire et d'analyse par seconde.
Requêtes d'écriture Instances
Tables
Profils d'application
Nombre de requêtes d'écriture par seconde.
Débit en lecture Instances
Tables
Profils d'application
Nombre d'octets non compressés par seconde des données de réponse envoyées. Cette métrique fait référence à la quantité totale de données renvoyée après l'application des filtres.
Débit en écriture Instances
Tables
Profils d'application
Nombre d'octets non compressés par seconde reçus lors de l'écriture des données.
Nombre de nœuds Instances Nombre de nœuds dans le cluster.

Pour afficher les métriques associées à ces ressources :

  1. Ouvrez la liste des instances Cloud Bigtable dans Cloud Console.

    Ouvrir la liste des instances

  2. Cliquez sur l'instance dont vous souhaitez consulter les métriques.

  3. Dans le volet de gauche, cliquez sur Surveillance. Cloud Console affiche une série de graphiques pour l'instance, ainsi qu'une vue en tableau des métriques de l'instance. Par défaut, Cloud Console présente les métriques de la dernière heure, en les séparant pour chaque cluster de l'instance.

    Pour afficher tous les graphiques, faites défiler le volet à l'emplacement des graphiques.

    Pour afficher les métriques au niveau de la table, cliquez sur Tables.

    Pour afficher les métriques de profils d'application spécifiques, cliquez sur Profils d'application.

    Pour afficher les métriques combinées de l'instance dans son ensemble, recherchez la section Grouper par au-dessus des graphiques, puis cliquez sur Instance.

    Pour afficher les métriques sur une période plus longue, cliquez sur la flèche à côté de 1 heure. Choisissez une plage de temps prédéfinie ou saisissez une plage de temps personnalisée, puis cliquez sur Appliquer.

Graphiques pour la réplication

La page de surveillance fournit un graphique présentant la latence de réplication dans le temps. Vous pouvez afficher la latence moyenne pour la réplication d'écritures aux 50e, 99e et 100e centiles.

Pour afficher la latence de réplication dans le temps :

  1. Ouvrez la liste des instances Cloud Bigtable dans Cloud Console.

    Ouvrir la liste des instances

  2. Cliquez sur l'instance dont vous souhaitez consulter les métriques.

  3. Dans le volet de gauche, cliquez sur Surveillance. La page s'ouvre avec l'onglet Instance sélectionné.

  4. Cliquez sur l'onglet Réplication. Cloud Console affiche la latence de réplication dans le temps. Par défaut, Cloud Console présente la latence de réplication pour la dernière heure.

    Pour basculer entre les graphiques de latence regroupés par table ou par cluster, utilisez le menu Grouper par.

    Pour modifier le centile à afficher, utilisez le menu Centile.

    Pour afficher les métriques sur une période plus longue, cliquez sur la flèche à côté de 1 heure. Choisissez une plage de temps prédéfinie ou saisissez une plage de temps personnalisée, puis cliquez sur Appliquer.

Surveiller une instance avec Cloud Monitoring

Cloud Bigtable exporte les métriques d'utilisation que vous pouvez surveiller de manière automatisée à l'aide de Cloud Monitoring. Vous pouvez utiliser l'API Cloud Monitoring ou l'explorateur de métriques pour suivre les métriques d'utilisation de Cloud Bigtable. En outre, vous pouvez configurer des règles d'alerte basées sur les métriques d'utilisation et ajouter dans un tableau de bord personnalisé des graphiques pour les métriques d'utilisation de Cloud Bigtable.

Pour afficher les métriques d'utilisation dans l'explorateur de métriques :

  1. Ouvrez la page "Surveillance" dans Cloud Console.

    Accéder à la page "Surveillance"

    Si vous êtes invité à choisir un compte, indiquez celui que vous utilisez pour accéder à Google Cloud.

  2. Cliquez sur Ressources, puis sur Explorateur de métriques.

  3. Dans le champ Rechercher un type de ressource et une métrique, saisissez bigtable. La liste des ressources et des métriques Cloud Bigtable apparaît.

  4. Cliquez sur une métrique pour afficher le graphique correspondant.

Vous pouvez également utiliser une bibliothèque de graphiques, telle que Matplotlib pour Python, pour représenter et analyser les métriques d'utilisation de Cloud Bigtable. Pour en savoir plus, consultez le tutoriel sur l'utilisation de Matplotlib avec Cloud Monitoring et Cloud Bigtable.

Pour plus d'informations sur l'utilisation de Cloud Monitoring, consultez la documentation dédiée à Cloud Monitoring.

Étapes suivantes