Restez organisé à l'aide des collections Enregistrez et classez les contenus selon vos préférences.

Surveillance

Vous pouvez surveiller visuellement Cloud Bigtable à l'aide de graphiques disponibles dans Google Cloud Console ou par programmation à l'aide de l'API Cloud Monitoring.

Dans la console Google Cloud, les données de surveillance sont disponibles aux emplacements suivants:

  • Surveillance Bigtable
  • Présentation des instances Bigtable
  • Présentation du cluster Bigtable
  • Présentation de la table Bigtable
  • Cloud Monitoring de la suite Google Cloud Operations
  • Key Visualizer

Les pages de surveillance et de présentation offrent une vue d'ensemble de votre utilisation de Bigtable. Vous pouvez utiliser Key Visualizer pour afficher le détail de vos modèles d'accès par clé de ligne et résoudre des problèmes de performances spécifiques.

Comprendre l'utilisation du processeur et du disque

Quels que soient les outils utilisés pour surveiller votre instance, il est essentiel de surveiller l'utilisation du processeur et du disque pour chaque cluster de l'instance. Si l'utilisation du processeur ou du disque d'un cluster dépasse certains seuils, le cluster ne fonctionne pas correctement et risque de renvoyer des erreurs lorsque vous essayez de lire ou d'écrire des données.

Utilisation du processeur

Les nœuds de vos clusters utilisent les ressources de processeur pour gérer les lectures, les écritures et les tâches d'administration. Pour en savoir plus sur l'impact du nombre de nœuds sur les performances d'un cluster, consultez la section Performances pour des charges de travail types.

Bigtable enregistre les métriques d'utilisation du processeur suivantes :

Métrique Description
Utilisation moyenne du processeur

Utilisation moyenne du processeur sur tous les nœuds du cluster.

Les valeurs maximales recommandées fournissent une marge pour de brefs pics d'utilisation.

Si un cluster dépasse la valeur maximale recommandée pour votre configuration pendant plus de quelques minutes, ajoutez des nœuds au cluster.

Utilisation du processeur du nœud le plus sollicité

Utilisation du processeur pour le nœud le plus actif dans le cluster. Cette métrique continue d'être fournie pour la continuité, mais dans la plupart des cas, vous devez utiliser la métrique plus précise utilisation précise du processeur du nœud le plus sollicité.

Utilisation précise du processeur du nœud le plus sollicité

Mesure précise de l'utilisation du processeur pour le nœud le plus actif dans le cluster. Nous vous recommandons d'utiliser cette métrique plutôt que l'utilisation du processeur du nœud le plus sollicité, car elle est plus précise.

Le nœud le plus sollicité n'est pas nécessairement le même nœud au fil du temps et peut changer rapidement, en particulier lors des tâches par lot volumineuses ou des analyses de table.

Si le nœud le plus sollicité est souvent au-dessus de la valeur recommandée, même si l'utilisation moyenne du processeur est raisonnable, il se peut que vous accédiez à une petite partie de vos données plus souvent qu'au reste de vos données.

  • Utilisez l'outil Key Visualizer pour identifier les points d'accès de votre table susceptibles de causer des pics d'utilisation du processeur.
  • Vérifiez la conception du schéma pour vous assurer qu'il accepte la répartition uniforme des opérations de lecture et d'écriture sur chaque table.
Utilisation du processeur par profil d'application, méthode et table

Utilisation du processeur par profil d'application, méthode et table.

Si vous observez une utilisation du processeur plus élevée que prévu pour un cluster, utilisez cette métrique pour déterminer si l'utilisation du processeur par un profil d'application, une méthode API ou une table spécifique est à l'origine de la charge du processeur.

Les valeurs de ces métriques ne doivent pas dépasser les valeurs suivantes :

Configuration Valeurs maximales recommandées1
  1. Les valeurs maximales recommandées s'appliquent à l'ensemble d'un cluster. Il n'existe aucune valeur maximale recommandée pour l'utilisation du processeur par profil d'application, méthode ou table. Utilisez cette métrique plus précise pour observer les causes possibles de l'utilisation élevée du processeur par un cluster.
Cluster unique

70% de l'utilisation moyenne du processeur
90% de l'utilisation du processeur pour le nœud le plus sollicité

Nombre illimité de clusters avec routage vers un cluster unique

70% de l'utilisation moyenne du processeur
90% de l'utilisation du processeur pour le nœud le plus sollicité

2 clusters avec routage multicluster

35% de l'utilisation moyenne du processeur
45% de l'utilisation du processeur pour le nœud le plus sollicité

Trois clusters ou plus avec routage multicluster

Dépend de votre configuration. Consultez la page Exemples de paramètres de réplication pour découvrir les cas d'utilisation courants.

Espace disque utilisé

Bigtable stocke une copie distincte de toutes les tables de l'instance pour chacun de ses clusters.

Bigtable suit l'utilisation du disque en unités binaires, telles que les gigaoctets binaires (Go), où 1 Go correspond à 230 octets. Cette unité de mesure est également appelée gibioctet (Gio).

Bigtable enregistre les métriques d'utilisation du disque suivantes :

Métrique Description
Utilisation du stockage (octets)

Quantité de données stockées dans le cluster.

Cette valeur affecte les coûts. En outre, comme décrit ci-dessous, vous aurez peut-être à ajouter des nœuds à chaque cluster au fur et à mesure de l'augmentation de la quantité de données.

Utilisation du stockage (% max.)

Pourcentage de la capacité de stockage du cluster qui est utilisée. La capacité est basée sur le nombre de nœuds présents dans le cluster.

En général, faites en sorte de ne pas utiliser plus de 70 % de la limite stricte de stockage total. Il restera ainsi de la place pour ajouter des données. Si vous ne prévoyez pas d'ajouter de grandes quantités de données à l'instance, vous pouvez utiliser jusqu'à 100 % de la limite stricte.

Si vous dépassez le pourcentage recommandé de la limite de stockage, ajoutez des nœuds au cluster. Vous pouvez également supprimer des données existantes, mais les données supprimées occupent non pas moins mais plus d'espace, jusqu'à ce qu'un compactage se produise.

Pour savoir comment cette valeur est calculée, consultez Utilisation du stockage par nœud.

Charge du disque

Pourcentage de bande passante utilisé par votre cluster pour les opérations de lecture et d'écriture sur HDD par rapport à la bande passante maximale possible. Disponible uniquement pour les clusters HDD.

Si cette valeur est souvent égale à 100 %, vous risquez de rencontrer des taux de latence plus élevés. Ajoutez des nœuds au cluster pour réduire le pourcentage de charge du disque.

Compactage et instances multiclusters

Les métriques de stockage reflètent la taille des données sur le disque à partir du dernier compactage. Étant donné que le compactage s'effectue progressivement au cours d'une semaine, les métriques d'utilisation du processeur d'un cluster peuvent parfois être différentes de celles des autres clusters de l'instance. Voici quelques exemples d'impacts observables :

  • Un nouveau cluster récemment ajouté à une instance peut afficher temporairement 0 octet de stockage, même si toutes les données ont bien été répliquées sur le nouveau cluster.

  • Une table peut avoir une taille différente dans chaque cluster, même lorsque la réplication fonctionne correctement.

Présentation de l'instance

La page de présentation de l'instance affiche les valeurs actuelles de plusieurs métriques clés pour chaque cluster :

Métrique Description
Utilisation moyenne du processeur Utilisation moyenne du processeur sur tous les nœuds du cluster.
Utilisation du processeur du nœud le plus sollicité

Utilisation du processeur pour le nœud le plus actif dans le cluster. Cette métrique continue d'être fournie pour la continuité, mais dans la plupart des cas, vous devez utiliser la métrique plus précise utilisation précise du processeur du nœud le plus sollicité.

Utilisation précise du processeur du nœud le plus sollicité

Mesure précise de l'utilisation du processeur pour le nœud le plus actif dans le cluster. Nous vous recommandons d'utiliser cette métrique plutôt que l'utilisation du processeur du nœud le plus sollicité, car elle est plus précise.

Le nœud le plus sollicité n'est pas nécessairement le même nœud au fil du temps et peut changer rapidement, en particulier lors des tâches par lot volumineuses ou des analyses de table.

Le dépassement de l'utilisation maximale recommandée peut provoquer des temps de latence et d'autres problèmes pour le cluster.

Lignes lues Nombre de lignes lues par seconde.
Lignes écrites Nombre de lignes écrites par seconde.
Débit en lecture Nombre d'octets par seconde des données de réponse envoyées. Cette métrique fait référence à la quantité totale de données renvoyée après l'application des filtres.
Débit en écriture Nombre d'octets par seconde reçus lors de l'écriture des données.
Taux d'erreur système Pourcentage de toutes les requêtes ayant échoué sur Bigtable côté serveur.
Latence de réplication en entrée Durée la plus élevée au 99e centile, en secondes, pour qu'une écriture dans un autre cluster soit répliquée sur ce cluster.
Latence de réplication en sortie Durée la plus élevée au 99e centile, en secondes, pour qu'une écriture dans ce cluster soit répliquée dans un autre cluster.

Pour obtenir une présentation de ces métriques clés :

  1. Ouvrez la liste des instances Bigtable dans Google Cloud Console.

    Ouvrir la liste des instances

  2. Cliquez sur l'instance dont vous souhaitez consulter les métriques. La console Google Cloud affiche les métriques actuelles pour les clusters de votre instance.

Aperçu du cluster

La page de présentation du cluster vous permet de comprendre l'état actuel et passé d'un cluster individuel.

La page de présentation du cluster affiche des graphiques indiquant les métriques suivantes pour chaque cluster :

Métrique Description
Nombre de nœuds Le nombre de nœuds utilisés à un moment donné pour le cluster.
Nombre maximal de nœuds cibles Nombre maximal de nœuds que Bigtable doit faire évoluer vers le cluster lorsque l'autoscaling est activé. Cette métrique n'est visible que lorsque l'autoscaling est activé pour le cluster. Vous pouvez modifier cette valeur sur la page Modifier le cluster.
Nombre minimal de nœuds cibles Nombre minimal de nœuds vers lesquels Bigtable effectuera le scaling à la baisse du cluster lorsque l'autoscaling est activé. Cette métrique n'est visible que lorsque l'autoscaling est activé pour le cluster. Vous pouvez modifier cette valeur sur la page Modifier le cluster.
Nombre recommandé de nœuds pour la cible de processeur Nombre de nœuds que Bigtable recommande pour le cluster en fonction de l'objectif d'utilisation du processeur que vous avez défini. Cette métrique n'est visible que lorsque l'autoscaling est activé pour le cluster. Si ce nombre est supérieur à la valeur maximale autorisée, envisagez d'augmenter votre cible d'utilisation du processeur ou d'augmenter le nombre maximal de nœuds du cluster. Si ce nombre est inférieur au nombre minimal de nœuds, le cluster peut être surprovisionné pour votre utilisation. Vous devez donc envisager de réduire le nombre minimal de nœuds.
Nombre recommandé de nœuds pour la cible de stockage Nombre de nœuds que Bigtable recommande pour le cluster en fonction de l'objectif d'utilisation intégré du stockage. Cette métrique n'est visible que lorsque l'autoscaling est activé pour le cluster. Si ce nombre est supérieur à la valeur maximale cible du nombre de nœuds, envisagez d'augmenter le nombre maximal de nœuds pour le cluster.
Utilisation du processeur Utilisation moyenne du processeur sur tous les nœuds du cluster.
Utilisation du stockage

Quantité de données stockées dans le cluster.

Cette métrique prend en compte la compression des données par Bigtable lors de leur stockage.

Pour afficher la page de présentation d'un cluster, procédez comme suit :

  1. Ouvrez la liste des instances Bigtable dans Google Cloud Console.

    Ouvrir la liste des instances

  2. Cliquez sur l'instance dont vous souhaitez consulter les métriques.

  3. Faites défiler la page jusqu'à la section qui affiche l'état actuel de certaines métriques du cluster.

  4. Cliquez sur l'ID du cluster pour ouvrir la page Présentation du cluster.

Journaux

Le graphique Journaux affiche les entrées du journal des événements système du cluster. Les journaux des événements système ne sont générés que pour les clusters qui utilisent l'autoscaling. Pour découvrir d'autres moyens d'afficher les journaux d'audit Bigtable, consultez la page Journaux d'audit.

Présentation de la table

La page de présentation d'une table permet de comprendre l'état actuel et passé d'une table individuelle.

La page de présentation de la table affiche des graphiques illustrant les métriques suivantes pour la table. Chaque graphique affiche une ligne distincte pour chaque cluster dans lequel se trouve la table.

Métrique Description
Utilisation du stockage (octets)

Pourcentage de la capacité de stockage du cluster qui est utilisée par la table. La capacité est basée sur le nombre de nœuds présents dans le cluster.

Pour savoir comment cette valeur est calculée, consultez Utilisation du stockage par nœud.

Utilisation du processeur Utilisation moyenne du processeur sur tous les nœuds du cluster.
Latence de lecture

Durée nécessaire à une requête de lecture pour renvoyer une réponse.

La mesure de la latence de lecture commence lorsque Bigtable reçoit la requête et se termine lorsque le dernier octet de données est envoyé au client. Pour les requêtes portant sur de grands volumes de données, la latence de lecture peut être affectée par la capacité de consommation de la réponse au niveau du client.

Latence d'écriture

Durée nécessaire à une requête d'écriture pour renvoyer une réponse.

Lignes lues

Nombre de lignes lues par seconde.

Cette métrique fournit un meilleur aperçu du débit global de Bigtable que le nombre de requêtes de lecture, car un grand nombre de lignes peuvent être lues via une seule requête.

Lignes écrites

Nombre de lignes écrites par seconde.

Cette métrique fournit un meilleur aperçu du débit global de Bigtable que le nombre de requêtes d'écriture, car un grand nombre de lignes peuvent être écrites via une seule requête.

Requêtes de lecture Nombre de requêtes de lecture aléatoire et d'analyse par seconde.
Requêtes d'écriture Nombre de requêtes d'écriture par seconde.
Débit en lecture Nombre d'octets par seconde des données de réponse envoyées. Cette métrique fait référence à la quantité totale de données renvoyée après l'application des filtres.
Débit en écriture Nombre d'octets par seconde reçus lors de l'écriture des données.
Basculements automatiques

Nombre de requêtes ayant été automatiquement réacheminées d'un cluster vers un autre dans le cadre d'un scénario de basculement (par exemple une brève interruption ou un retard). Le réacheminement automatique peut se produire si un profil d'application utilise le routage multicluster.

Ce graphique n'inclut pas les requêtes réacheminées manuellement.

La page de présentation de la table indique également l'état de réplication de la table dans chaque cluster de l'instance. Pour chaque cluster, la page affiche les éléments suivants:

  • Status
  • ID du cluster
  • Zone
  • L'espace de stockage du cluster utilisé par la table
  • Clé de chiffrement et état de la clé
  • Date de la dernière sauvegarde de la table actuellement sélectionnée
  • Un lien vers la page Modifier le cluster.

Pour afficher la page de présentation d'une table, procédez comme suit :

  1. Ouvrez la liste des instances Bigtable dans Google Cloud Console.

    Ouvrir la liste des instances

  2. Cliquez sur l'instance dont vous souhaitez consulter les métriques.

  3. Dans le volet de gauche, cliquez sur Tables. La console Google Cloud affiche la liste de toutes les tables de l'instance.

  4. Cliquez sur un ID de table pour ouvrir la page Présentation de la table.

Surveiller les performances au fil du temps

La page de surveillance de votre instance Bigtable permet de comprendre les performances passées de l'instance. Vous pouvez analyser les performances de chaque cluster et ventiler les métriques pour différents types de ressources Bigtable. Les graphiques peuvent afficher une période allant de la dernière heure aux six dernières semaines.

Graphiques de surveillance pour les ressources Bigtable

La page de surveillance Bigtable fournit des graphiques pour les types de ressources Bigtable suivants :

  • Instances
  • Tables
  • Profils d'application
  • Réplication

Les graphiques de la page de surveillance affichent les métriques suivantes :

Métrique Action disponible pour Description
Utilisation du processeur Instances
Tables
Profils d'application
Utilisation moyenne du processeur sur tous les nœuds du cluster.
Utilisation du processeur (nœud le plus sollicité) Instances

Utilisation du processeur pour le nœud le plus actif dans le cluster. Cette métrique continue d'être fournie pour la continuité, mais dans la plupart des cas, vous devez utiliser la métrique plus précise utilisation précise du processeur du nœud le plus sollicité.

Utilisation précise du processeur (nœud le plus sollicité) Instances

Mesure précise de l'utilisation du processeur pour le nœud le plus actif dans le cluster. Nous vous recommandons d'utiliser cette métrique plutôt que l'utilisation du processeur du nœud le plus sollicité, car elle est plus précise.

Le nœud le plus sollicité n'est pas nécessairement le même nœud au fil du temps et peut changer rapidement, en particulier lors des tâches par lot volumineuses ou des analyses de table.

Le dépassement de l'utilisation maximale recommandée peut provoquer des temps de latence et d'autres problèmes pour le cluster.

Latence de lecture Instances
Tables
Profils d'application

Durée nécessaire à une requête de lecture pour renvoyer une réponse.

La mesure de la latence de lecture commence lorsque Bigtable reçoit la requête et se termine lorsque le dernier octet de données est envoyé au client. Pour les requêtes portant sur de grands volumes de données, la latence de lecture peut être affectée par la capacité de consommation de la réponse au niveau du client.

Latence d'écriture Instances
Tables
Profils d'application

Durée nécessaire à une requête d'écriture pour renvoyer une réponse.

Taux d'erreur utilisateur Instances

Taux d'erreurs provoquées par le contenu d'une requête, par rapport aux erreurs sur Bigtable côté serveur. Les taux d'erreurs utilisateur comprennent les codes d'état suivants :

  • INVALID_ARGUMENT
  • NOT_FOUND
  • PERMISSION_DENIED
  • RESOURCE_EXHAUSTED
  • OUT_OF_RANGE

Les erreurs utilisateur sont généralement causées par un problème de configuration, tel qu'une requête spécifiant un cluster, une table ou un profil d'application incorrect.

Taux d'erreur système Instances Pourcentage de toutes les requêtes ayant échoué sur Bigtable côté serveur. Les taux d'erreurs système comprennent les codes d'état suivants :
  • UNKNOWN
  • ABORTED
  • UNIMPLEMENTED
  • INTERNAL
  • UNAVAILABLE
Basculements automatiques Instances
Tables
Profils d'application

Nombre de requêtes ayant été automatiquement réacheminées d'un cluster vers un autre dans le cadre d'un scénario de basculement (par exemple une brève interruption ou un retard). Le réacheminement automatique peut se produire si un profil d'application utilise le routage multicluster.

Ce graphique n'inclut pas les requêtes réacheminées manuellement.

Utilisation du stockage (octets) Instances
Tables

Quantité de données stockées dans le cluster.

Cette métrique prend en compte la compression des données par Bigtable lors de leur stockage.

Utilisation du stockage (% max.) Instances

Pourcentage utilisé de la capacité de stockage du cluster. La capacité est basée sur le nombre de nœuds présents dans le cluster.

Pour savoir comment cette valeur est calculée, consultez Utilisation du stockage par nœud.

Charge du disque Instances Pourcentage de bande passante utilisé par votre cluster en lecture et en écriture HDD par rapport à la bande passante maximale possible. Disponible uniquement pour les clusters HDD.
Lignes lues Instances
Tables
Profils d'application

Nombre de lignes lues par seconde.

Cette métrique fournit un meilleur aperçu du débit global de Bigtable que le nombre de requêtes de lecture, car un grand nombre de lignes peuvent être lues via une seule requête.

Lignes écrites Instances
Tables
Profils d'application

Nombre de lignes écrites par seconde.

Cette métrique fournit un meilleur aperçu du débit global de Bigtable que le nombre de requêtes d'écriture, car un grand nombre de lignes peuvent être écrites via une seule requête.

Requêtes de lecture Instances
Tables
Profils d'application
Nombre de requêtes de lecture aléatoire et d'analyse par seconde.
Requêtes d'écriture Instances
Tables
Profils d'application
Nombre de requêtes d'écriture par seconde.
Débit en lecture Instances
Tables
Profils d'application
Nombre d'octets par seconde des données de réponse envoyées. Cette métrique fait référence à la quantité totale de données renvoyée après l'application des filtres.
Débit en écriture Instances
Tables
Profils d'application
Nombre d'octets par seconde reçus lors de l'écriture des données.
Nombre de nœuds Instances Nombre de nœuds dans le cluster.

Pour afficher les métriques associées à ces ressources :

  1. Ouvrez la liste des instances Bigtable dans Google Cloud Console.

    Ouvrir la liste des instances

  2. Cliquez sur l'instance dont vous souhaitez consulter les métriques.

  3. Dans le volet de gauche, cliquez sur Surveillance. La console Google Cloud affiche une série de graphiques pour l'instance, ainsi qu'une vue en tableau des métriques de l'instance. Par défaut, la console Google Cloud présente les métriques de la dernière heure, en les séparant pour chaque cluster de l'instance.

    Pour afficher tous les graphiques, faites défiler le volet à l'emplacement des graphiques.

    Pour afficher les métriques au niveau de la table, cliquez sur Tables.

    Pour afficher les métriques de profils d'application spécifiques, cliquez sur Profils d'application.

    Pour afficher les métriques combinées de l'instance dans son ensemble, recherchez la section Grouper par au-dessus des graphiques, puis cliquez sur Instance.

    Pour afficher les métriques sur une période plus longue, cliquez sur la flèche à côté de 1 heure. Choisissez une plage de temps prédéfinie ou saisissez une plage de temps personnalisée, puis cliquez sur Appliquer.

Graphiques pour la réplication

La page de surveillance fournit un graphique présentant la latence de réplication dans le temps. Vous pouvez afficher la latence moyenne pour la réplication d'écritures aux 50e, 99e et 100e centiles.

Pour afficher la latence de réplication dans le temps :

  1. Ouvrez la liste des instances Bigtable dans Google Cloud Console.

    Ouvrir la liste des instances

  2. Cliquez sur l'instance dont vous souhaitez consulter les métriques.

  3. Dans le volet de gauche, cliquez sur Surveillance. La page s'ouvre avec l'onglet Instance sélectionné.

  4. Cliquez sur l'onglet Réplication. La console Google Cloud affiche la latence de réplication dans le temps. Par défaut, la console Google Cloud présente la latence de réplication pour la dernière heure.

    Pour basculer entre les graphiques de latence regroupés par table ou par cluster, utilisez le menu Grouper par.

    Pour modifier le centile à afficher, utilisez le menu Centile.

    Pour afficher les métriques sur une période plus longue, cliquez sur la flèche à côté de 1 heure. Choisissez une plage de temps prédéfinie ou saisissez une plage de temps personnalisée, puis cliquez sur Appliquer.

Assurer la surveillance avec Cloud Monitoring

Bigtable exporte des métriques d'utilisation vers Cloud Monitoring. Vous pouvez utiliser ces métriques de différentes manières :

  • Surveiller de manière automatisée à l'aide de l'API Cloud Monitoring.
  • Surveiller visuellement dans l'explorateur de métriques.
  • Configurer des règles d'alerte.
  • Ajouter des métriques d'utilisation Bigtable à un tableau de bord personnalisé.
  • Utiliser une bibliothèque de graphiques, telle que Matplotlib pour Python, pour représenter et analyser les métriques d'utilisation de Bigtable.

Pour afficher les métriques d'utilisation dans l'explorateur de métriques :

  1. Ouvrez la page "Surveillance" dans la console Google Cloud.

    Ouvrir la page "Monitoring"

    Si vous êtes invité à choisir un compte, indiquez celui que vous utilisez pour accéder à Google Cloud.

  2. Cliquez sur Ressources, puis sur Explorateur de métriques.

  3. Dans le champ Rechercher un type de ressource et une métrique, saisissez bigtable. La liste des ressources et des métriques Bigtable apparaît.

  4. Cliquez sur une métrique pour afficher le graphique correspondant.

Pour plus d'informations sur l'utilisation de Cloud Monitoring, consultez la documentation dédiée à Cloud Monitoring.

Pour obtenir la liste complète des métriques Bigtable, consultez la page Métriques.

Étapes suivantes