Surveiller BigQuery avec Stackdriver

Ce document explique comment surveiller les ressources BigQuery en utilisant Stackdriver Monitoring pour créer des graphiques et des alertes relatives aux métriques BigQuery.

Avant de commencer

Afficher et créer des tableaux de bord, des graphiques et des alertes

Afficher le tableau de bord Stackdriver

Pour surveiller votre projet BigQuery à l'aide de Stackdriver :

  1. Dans la console Google Cloud Platform, sélectionnez Stackdriver > Monitoring ou utilisez le bouton suivant :

    Accéder à Monitoring

  2. En haut de la page, sélectionnez le nom de votre projet s'il n'est pas déjà sélectionné.

  3. Pour afficher les ressources BigQuery, sélectionnez Resources > BigQuery (Ressources > BigQuery) : cette page présente la liste des tables, des événements et des rapports d'incident configurables par l'utilisateur, ainsi que des graphiques relatifs aux métriques du projet ou de l'ensemble de données.

    Tableau de bord Stackdriver pour BigQuery

Visualiser les emplacements disponibles et les emplacements alloués

Pour visualiser les emplacements disponibles et les emplacements alloués à votre projet :

  1. Accédez au tableau de bord Stackdriver pour BigQuery, décrit dans la section Afficher le tableau de bord Stackdriver.

    Accéder à Monitoring pour BigQuery

  2. Sur le tableau de bord Stackdriver pour BigQuery, accédez au graphique intitulé Utilisation des emplacements.

Le graphique Utilisation des emplacements apparaît à la fois sur le tableau de bord par défaut principal de Stackdriver et sur le tableau de bord Stackdriver pour BigQuery.

Créer un tableau de bord et un graphique

Affichez les métriques recueillies par Monitoring dans vos propres graphiques et tableaux de bord :

  1. Dans le volet de navigation de gauche de la console Monitoring, sélectionnez Tableaux de bord > Créer un tableau de bord.

    Accéder à la page "Créer un tableau de bord"

  2. Cliquez sur Ajouter un graphique. La page "Ajouter un graphique" s'affiche :

    Ajouter un graphique

  3. Dans les champs du panneau Find resource type and metric (Rechercher un type de ressource et une métrique) :

    • Dans la liste déroulante Resource types (Types de ressource), sélectionnez Global (Global). Vous devrez peut-être développer la liste Resource types (Types de ressource) pour que l'option Global soit visible.
    • Dans la liste déroulante Metric (Métrique), sélectionnez Query execution time (Temps d'exécution de la requête).
  4. Les champs du volet Aggregation (Agrégation) contrôlent l'affichage des données de temps d'exécution. Vous pouvez modifier les paramètres par défaut pour ces champs.

  5. Cliquez sur Save.

Créer une alerte

Créez une alerte en définissant une condition et en configurant les paramètres de notification.

  1. Dans le volet de navigation de gauche de la console Monitoring, sélectionnez Alertes > Créer une règle. Cela ouvre la page Créer une règle d'alerte.

    Accéder à la page "Créer une règle d'alerte"

  2. Dans la section Conditions (Conditions), cliquez sur Add Condition (Ajouter une condition).

    1. Dans le volet Target (Cible), définissez les champs Find resource type and metric (Rechercher un type de ressource et une métrique)) comme suit :

      • Dans la liste déroulante Resource types (Types de ressource), sélectionnez Global (Global).
      • Dans la liste déroulante Metric (Métrique), sélectionnez Query execution time (Temps d'exécution de la requête).
    2. Renseignez les champs du volet Aggregation (Agrégation) pour saisir le 50e centile des valeurs de chaque série temporelle pendant la période d'alignement:

      • Dans la liste déroulante Aligner (Aligneur), sélectionnez 50th percentile (50e centile).
      • Dans la liste déroulante Reducer (Réducteur), sélectionnez none (aucun).
      • Dans la liste déroulante Alignment Period (Période d'alignement), sélectionnez 1.
    3. Renseignez les champs du volet Configuration de sorte que la condition se déclenche si le 50e centile d'une série temporelle dépasse 800 ms en une minute.

      • Dans la liste déroulante Condition triggers if (Déclenchement de la condition si), sélectionnez Any time series violates (À chaque infraction de série).
      • Dans la liste déroulante Condition (Condition), sélectionnez is above (est supérieure à).
      • Pour le seuil, saisissez 800. Le choix du seuil dépend de vos besoins. La valeur de 800 a été choisie, car elle représentait environ le double du 50e centile moyen.
      • Dans la liste déroulante For (Pour), sélectionnez 1 .
    4. Cliquez sur Save.

      Ajouter une condition de seuil

  3. Pour configurer vos paramètres de notification, cliquez sur Add Notification Channel. (Ajouter un canal de notification). Vous pouvez demander à recevoir les notifications par e-mail, SMS ou via plusieurs autres options.

  4. Facultatif : saisissez un message de notification dans la section Documentation (Documentation).

  5. Pour finir, nommez votre règle et cliquez sur Save (Enregistrer).

Métriques disponibles pour la visualisation

Les métriques suivantes sont disponibles, avec un délai pouvant atteindre plusieurs heures.

Type de ressource Nom Unités Description
BigQuery Octets analysés octets par minute Nombre d'octets analysés
BigQuery Octets analysés facturés octets par minute Nombre d'octets envoyés pour facturation

Le nombre d'octets analysés et le nombre d'octets analysés facturés peuvent différer pour deux raisons :

  • Un montant minimal de facturation est défini. Si le nombre d'octets que vous analysez n'atteint pas ce montant, il ne sera pas facturé.
  • Ces métriques peuvent également différer si votre compte est créditeur.
BigQuery Durée de la requête
5e centile
50e centile
95e centile
99e centile
secondes Temps d'exécution des requêtes non mises en cache
BigQuery Emplacements alloués emplacements Nombre d'emplacements alloués au projet à tout moment. Cette métrique peut également s'interpréter comme le nombre d'emplacements utilisés par le projet.

Les emplacements sont alloués au niveau de chaque compte de facturation, et plusieurs projets peuvent partager une même réservation d'emplacements.

BigQuery Emplacements alloués par type de tâche emplacements Nombre d'emplacements alloués au projet à tout moment, séparés par type de tâche. Cette métrique peut également s'interpréter comme le nombre d'emplacements utilisés par le projet. Actuellement, les tâches de chargement et d'exportation sont des opérations gratuites exécutées dans un pool de ressources public.

Les emplacements sont alloués au niveau de chaque compte de facturation, et plusieurs projets peuvent partager une même réservation d'emplacements.

BigQuery Emplacements disponibles emplacements Nombre total d'emplacements disponibles pour le projet

Si le projet partage une réservation d'emplacements avec d'autres projets, les emplacements utilisés par les autres projets ne sont pas représentés.

Ensemble de données BigQuery Octets stockés octets Octets stockés dans l'ensemble de données. Pour les 100 plus grandes tables de l'ensemble de données, le nombre d'octets stockés est affiché pour chaque table (identifiée par son nom). Pour toutes les autres tables de l'ensemble de données (au-delà des 100 plus grandes tables), cette métrique est indiquée sous la forme d'une somme unique et une chaîne vide apparaît à la place du nom de table associé à cette valeur cumulative.
Ensemble de données BigQuery Tables tables Nombre de tables présentes dans l'ensemble de données
Ensemble de données BigQuery Octets téléchargés facturés octets par minute Nombre d'octets téléchargés dans les différentes tables de l'ensemble de données et ayant donné lieu à facturation
Ensemble de données BigQuery Octets téléchargés octets par minute Nombre d'octets téléchargés dans les différentes tables de l'ensemble de données

Le nombre d'octets téléchargés facturés et le nombre d'octets téléchargés peuvent différer pour deux raisons :

  • Un montant minimal de facturation est défini. Si le nombre d'octets que vous analysez n'atteint pas ce montant, il ne sera pas facturé.
  • Ces métriques peuvent également différer si votre compte est créditeur.
Ensemble de données BigQuery Lignes téléchargées lignes par minute Nombre d'enregistrements téléchargés dans les différentes tables de l'ensemble de données

Problèmes connus

  • S'il n'y a pas de requêtes en cours d'exécution, aucune donnée ne sera renvoyée pour les emplacements alloués ou disponibles ni pour les éventuelles variables liées aux requêtes. Effectuez un zoom arrière pour faire apparaître des données.

  • Si des requêtes sont exécutées simultanément dans les zones US et EU, les métriques relatives aux emplacements alloués ou disponibles peuvent être erronées.

  • La métrique "Emplacements alloués" correspond à la valeur moyenne pour une fenêtre temporelle donnée (dont la largeur dépend du niveau de zoom appliqué au graphique). Un zoom avant ou arrière peut modifier la valeur de la métrique "Emplacements alloués". Un zoom sur une fenêtre de 1 heure ou moins permet d'afficher les valeurs réelles de cette métrique. Dans une telle plage, le nombre d'emplacements alloués est égal à sa valeur moyenne en tout point de l'axe temporel du graphique (avg(slots allocated) = slots allocated).

  • Les données des diagrammes Stackdriver concernent uniquement le projet sélectionné. La surveillance multiprojets n'est actuellement pas disponible.

Cette page vous a-t-elle été utile ? Évaluez-la :

Envoyer des commentaires concernant…

Besoin d'aide ? Consultez notre page d'assistance.