Créer des tableaux de bord, des graphiques et des alertes

Ce document explique comment créer des graphiques et des alertes pour surveiller les ressources BigQuery à l'aide de Cloud Monitoring.

Avant de commencer

Avant d'utiliser Cloud Monitoring, assurez-vous de disposer des éléments suivants :

Compte Cloud Billing
Projet BigQuery avec facturation activée

Pour vérifier la présence de ces deux éléments, suivez le guide de démarrage rapide sur l'utilisation de la console Google Cloud.

Afficher et créer des tableaux de bord, des graphiques et des alertes

Afficher le tableau de bord Cloud Monitoring

Pour surveiller votre projet BigQuery à l'aide de Cloud Monitoring, procédez comme suit :

Dans Google Cloud Console, accédez à la page Monitoring.
Accéder à Monitoring
En haut de la page, sélectionnez le nom de votre projet s'il n'est pas déjà sélectionné.
Pour afficher les ressources BigQuery, sélectionnez Tableaux de bord > BigQuery. Cette page présente la liste des tables, des événements et des rapports d'incident configurables par l'utilisateur, ainsi que des graphiques associés aux métriques du projet ou de l'ensemble de données.

Visualiser les emplacements disponibles et les emplacements alloués

Pour visualiser les emplacements disponibles et les emplacements alloués à votre projet, accédez au tableau de bord Cloud Monitoring pour BigQuery décrit dans la section Afficher le tableau de bord Cloud Monitoring :

Dans Google Cloud Console, accédez à la page Monitoring.
Accéder à Monitoring
Sélectionnez Tableaux de bord > BigQuery.
Sur le tableau de bord Cloud Monitoring pour BigQuery, accédez au graphique intitulé Utilisation des emplacements.

Le graphique Utilisation des emplacements s'affiche à la fois sur le tableau de bord par défaut principal de Cloud Monitoring et sur le tableau de bord Cloud Monitoring pour BigQuery.

Créer un tableau de bord et un graphique

Affichez les métriques recueillies par Cloud Monitoring dans vos propres graphiques et tableaux de bord :

Dans Google Cloud Console, accédez à la page Monitoring.
Accéder à Monitoring
Sélectionnez Tableaux de bord > Créer un tableau de bord.
Cliquez sur Ajouter un graphique. La page "Ajouter un graphique" s'affiche :
Dans les champs du panneau Rechercher un type de ressource et une métrique :
- Dans la liste déroulante Types de ressource, sélectionnez Global. Vous devrez peut-être développer la liste Types de ressources pour que l'option Global soit visible.
- Dans la liste déroulante Métrique, sélectionnez Temps d'exécution de la requête.
Les champs du volet Agrégation contrôlent l'affichage des données de temps d'exécution. Vous pouvez modifier les paramètres par défaut de ces champs.
Cliquez sur Enregistrer.

Afficher l'utilisation et les limites de quotas

Dans Cloud Monitoring, vous pouvez afficher les métriques d'utilisation et de limites de quota :

Dans Google Cloud Console, accédez à la page Monitoring.
Accéder à Monitoring
Dans le volet de navigation, sélectionnez Explorateur de métriques.
Dans la barre d'outils, sélectionnez Explorateur > Configuration.
Dans la section Ressource et métrique, cliquez sur Sélectionner une métrique.
Sélectionnez Quota du client > Quota > Limite de quota, puis cliquez sur Appliquer.
Cliquez sur Ajouter un filtre, puis sélectionnez limit_name dans le menu Étiquette.
Dans le menu Valeur, sélectionnez le quota pour lequel vous souhaitez afficher les métriques.

Créer une alerte

Pour créer une règle d'alerte qui se déclenche lorsque le 99e centile de l'exécution d'une requête BigQuery dépasse une limite définie par l'utilisateur, définissez les paramètres suivants :

Procédure permettant de créer une règle d'alerte

Pour créer une règle d'alerte, procédez comme suit :

Dans la console Google Cloud, accédez à la page Alertes :
Accéder à l'interface des alertes

Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Surveillance.
Si vous n'avez pas créé vos canaux de notification et que vous souhaitez être averti, cliquez sur Modifier les canaux de notification et ajoutez vos canaux de notification. Revenez à la page Alertes après avoir ajouté vos canaux.
Sur la page Alertes, cliquez sur Créer une règle.
Pour sélectionner la ressource, la métrique et les filtres, développez le menu Sélectionner une métrique, puis utilisez les valeurs du tableau Nouvelle condition :
1. (Facultatif) Pour limiter le menu aux entrées pertinentes, saisissez le nom de la ressource ou de la métrique dans la barre de filtre.
2. Sélectionner un type de ressource Par exemple, sélectionnez Instance de VM.
3. Sélectionnez une catégorie de métriques. Par exemple, sélectionnez instance.
4. Sélectionnez une métrique. Par exemple, sélectionnez Utilisation du processeur.
5. Sélectionnez Appliquer.
Cliquez sur Suivant, puis configurez le déclencheur de règle d'alerte. Pour renseigner ces champs, utilisez les valeurs du tableau Configurer le déclencheur d'alerte.
Cliquez sur Suivant.
Facultatif : Pour ajouter des notifications à votre règle d'alerte, cliquez sur Canaux de notification. Dans la boîte de dialogue, sélectionnez un ou plusieurs canaux de notification dans le menu, puis cliquez sur OK.

Pour recevoir une notification en cas d'ouverture et de fermeture d'un incident, cochez la case Notifier en cas de fermeture des incidents. Par défaut, les notifications ne sont envoyées que lorsque des incidents sont ouverts.
(Facultatif) Mettez à jour la durée de fermeture automatique de l'incident. Ce champ détermine à quel moment Monitoring ferme les incidents en l'absence de données de métriques.
Facultatif : Cliquez sur Documentation, puis ajoutez les informations à inclure dans le message de notification.
Cliquez sur Nom de l'alerte et saisissez un nom pour la règle d'alerte.
Cliquez sur Créer une règle.

ChampNouvelle condition	Valeur
Ressource et métrique	Dans le menu Ressources, sélectionnez Projet BigQuery. Dans le menu Catégories de métriques, sélectionnez Requête. Dans le menu Métriques, sélectionnez Temps d'exécution des requêtes.
Filter
Dans toutes les séries temporelles Regrouper les séries temporelles par	`priority`
Dans toutes les séries temporelles Agrégation de séries temporelles	`99th percentile`
Fenêtre glissante	`5 m`
Fenêtrage glissant	`sum`

Champ Configurer le déclencheur d'alerte	Valeur
Type de condition	`Threshold`
Déclencheur d'alerte	`Any time series violates`
Position du seuil	`Above threshold`
Valeur du seuil	Vous déterminez cette valeur. Nous vous conseillons néanmoins de définir un seuil de 60 secondes.
Fenêtre du nouveau test	`most recent value`

Métriques disponibles pour la visualisation

Les métriques suivantes sont disponibles, avec un délai pouvant atteindre plusieurs heures.

Type de ressource	Nom	Unités	Description
BigQuery	Scanned bytes	Octets par minute	Nombre d'octets analysés
BigQuery	Scanned bytes billed	Octets par minute	Nombre d'octets envoyés pour facturation en cas d'utilisation du modèle d'analyse à la demande. Le nombre d'octets analysés et le nombre d'octets analysés facturés peuvent différer à mesure que les frais sont arrondis, avec une quantité minimale de données traitées par requête.
BigQuery	BI Engine Query Fallback Count (Preview)	Queries	Nombre de requêtes qui n'ont pas utilisé BI Engine en tant que taux. Vous pouvez définir l'option Group by (Grouper par) sur `reason` pour séparer le décompte en fonction de différents motifs de remplacement, y compris : `NO_RESERVATION` `INSUFFICIENT_RESERVATION` `UNSUPPORTED_SQL_TEXT` `INPUT_TOO_LARGE` `OTHER_REASON`
BigQuery	Query count	Queries	Queries in Flight
BigQuery	Query execution count (Preview)	Queries	Nombre de requêtes exécutées.
BigQuery	Query execution times - 5th percentile - 50th percentile - 95th percentile - 99th percentile	Secondes	Temps d'exécution des requêtes non mises en cache.
BigQuery	Slots used by project	Emplacements	Nombre d'emplacements BigQuery alloués aux jobs de requête du projet. Les emplacements sont alloués au niveau de chaque compte de facturation, et plusieurs projets peuvent partager une même réservation d'emplacements.
BigQuery	Slots used by project and job type	Emplacements	Nombre d'emplacements alloués au projet à tout moment, séparés par type de tâche. Cette métrique peut également s'interpréter comme le nombre d'emplacements utilisés par le projet. Les jobs de chargement et d'exportation sont des opérations gratuites exécutées dans un pool de ressources public. Les emplacements sont alloués au niveau de chaque compte de facturation, et plusieurs projets peuvent partager une même réservation d'emplacements.
BigQuery	Slots used by project, reservation, and job type	Emplacements	Nombre d'emplacements BigQuery alloués au projet. L'allocation d'emplacements peut être ventilée en fonction de la réservation et du type de job.
BigQuery	Total slots	Emplacements	Nombre total d'emplacements disponibles pour le projet Si le projet partage une réservation d'emplacements avec d'autres projets, les emplacements utilisés par les autres projets ne sont pas représentés.
BigQuery	Slots used across projects in reservations	Emplacements	Nombre d'emplacements BigQuery alloués aux projets de la réservation. Notez que les données de métriques ne sont transmises que lorsqu'au moins un projet a été attribué à la réservation et consomme des emplacements. Vous pouvez également interroger les informations de réservation à partir de `INFORMATION_SCHEMA`.
BigQuery	Slots used by project in reservation	Emplacements	Nombre d'emplacements BigQuery alloués au projet dans la réservation.
Ensemble de données BigQuery	Stored bytes	Bytes	Octets stockés dans l'ensemble de données. Pour les 100 plus grandes tables de l'ensemble de données, le nombre d'octets stockés est affiché pour chaque table (identifiée par son nom). Pour toutes les autres tables de l'ensemble de données (au-delà des 100 plus grandes tables), cette métrique est indiquée sous la forme d'une somme unique et une chaîne vide apparaît à la place du nom de table associé à cette valeur cumulative.
Ensemble de données BigQuery	Table count	Tables	Nombre de tables présentes dans l'ensemble de données
Ensemble de données BigQuery	Uploaded bytes	Octets par minute	Nombre d'octets téléchargés dans les différentes tables de l'ensemble de données.
Ensemble de données BigQuery	Lignes téléchargées	lignes par minute	Nombre d'enregistrements importés dans les différentes tables de l'ensemble de données depot/google3/production/config/cdd/cloud-pulse/templates/gcp/aliased_metrics_bigquery.gcl

Pour obtenir la liste complète des métriques Google Cloud disponibles, consultez la page Métriques Google Cloud.

Problèmes connus

S'il n'y a pas de requêtes en cours d'exécution, aucune donnée n'est renvoyée pour les emplacements alloués, les emplacements disponibles ou les variables liées aux requêtes. Effectuez un zoom arrière pour faire apparaître des données.
Si des requêtes sont exécutées simultanément dans les zones US et EU, les métriques relatives aux emplacements alloués ou disponibles peuvent être erronées.
La métrique "Emplacements alloués" correspond à la valeur moyenne pour une fenêtre temporelle donnée (dont la largeur dépend du niveau de zoom appliqué au graphique). Un zoom avant ou arrière peut modifier la valeur de la métrique "Emplacements alloués". Un zoom sur une fenêtre de 1 heure ou moins permet d'afficher les valeurs réelles de cette métrique. Dans une telle plage et en tout point de l'axe temporel du graphique, avg(slots allocated) = slots allocated.
Les données des graphiques Cloud Monitoring ne concernent que le projet sélectionné.
Les métriques sont des valeurs instantanées, échantillonnées à un moment donné et peuvent manquer des points de données entre les intervalles d'échantillons. Par exemple, la métrique du nombre de tâches est échantillonnée toutes les minutes. La valeur correspond au nombre de tâches à un moment donné, et non au nombre maximal de tâches tout au long de la minute.