Surveiller l'état, l'utilisation des ressources et les jobs

En tant qu'administrateur BigQuery, vous pouvez surveiller l'état de votre organisation, l'utilisation des emplacements et les performances des jobs au fil du temps à l'aide de graphiques sur l'état opérationnel et l'utilisation des ressources. BigQuery fournit des graphiques configurables pour vous aider à:

  • Surveillez l'état opérationnel de BigQuery. La surveillance de l'état de fonctionnement de BigQuery en temps réel est un système de surveillance centralisé qui vous permet d'observer l'utilisation de BigQuery dans l'organisation et dans plusieurs emplacements.

  • Affichez l'utilisation des ressources BigQuery. Utilisez les données historiques pour effectuer une analyse des causes fondamentales, planifier la capacité et diagnostiquer les variations des performances.

Avant de commencer

  • Pour afficher l'état de fonctionnement, vous devez utiliser des réservations auxquelles vous pouvez accéder via un projet d'administration. Ce n'est pas une exigence pour afficher les graphiques d'utilisation des ressources.

Rôles requis

Pour obtenir les autorisations nécessaires pour afficher toutes les données des graphiques de santé opérationnelle et d'utilisation des ressources, demandez à votre administrateur de vous accorder les rôles IAM suivants sur votre organisation:

Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

Ces rôles prédéfinis contiennent les autorisations requises pour afficher toutes les données des graphiques de santé opérationnelle et d'utilisation des ressources. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Vous devez disposer des autorisations suivantes pour afficher toutes les données des graphiques sur l'état de fonctionnement et l'utilisation des ressources:

  • Pour afficher toutes les données des graphiques sur l'état de fonctionnement et l'utilisation des ressources d'une organisation :
    • bigquery.jobs.listExecutionMetadata or bigquery.jobs.listAll sur l'organisation
    • bigquery.reservationAssignments.list sur le projet d'administration utilisé pour créer les réservations
    • bigquery.capacityCommitments.list sur le projet d'administration utilisé pour créer les réservations
  • En tant qu'utilisateur à la demande, pour afficher toutes les données des graphiques d'utilisation des ressources d'une organisation : bigquery.jobs.listExecutionMetadata or bigquery.jobs.listAll sur l'organisation
  • Pour afficher les données récapitulatives sur l'état de fonctionnement du stockage de tables BigQuery : bigquery.tables.get or bigquery.tables.list sur l'organisation
  • Pour afficher les graphiques d'état de fonctionnement et d'utilisation des ressources au niveau de la réservation :
    • bigquery.reservations.list sur le projet d'administration utilisé pour créer les réservations
    • bigquery.reservationAssignments.list sur le projet d'administration utilisé pour créer les réservations
  • Pour afficher les graphiques d'utilisation des ressources au niveau du projet : bigquery.jobs.listAll sur le projet

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

.

Surveiller l'état opérationnel d'une organisation

Le tableau de bord de l'état de fonctionnement affiche les métriques clés de votre organisation et de ses réservations dans tous les emplacements où vous avez des réservations. Vous pouvez utiliser ce tableau de bord pour surveiller les métriques suivantes:

  • Utilisation des emplacements
  • Utilisation du brassage
  • Simultanéité des jobs
  • Erreurs
  • Durée du job
  • Octets traités
  • Espace de stockage total

Afficher les graphiques de l'état de fonctionnement

Pour afficher des informations sur l'état de fonctionnement de votre organisation, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Surveillance de BigQuery.

    Accéder à Monitoring

  2. Sélectionnez le projet d'administration que vous avez utilisé pour acheter des emplacements et créer des réservations.

  3. Sur la page Surveillance, accédez à l'onglet État de fonctionnement pour afficher un récapitulatif des métriques clés de votre organisation pour tous les établissements et toutes les réservations.

  4. Facultatif: Pour afficher des métriques en temps réel, où les requêtes s'exécutent sur des données fraîches toutes les cinq minutes, cliquez sur l'option Données en direct. Par défaut, ce paramètre est désactivé et l'obsolescence maximale des données est d'environ une heure.

  5. Pour filtrer les métriques, configurez les champs suivants:

    • Dans la liste Sélectionner un emplacement, sélectionnez une région à surveiller.
    • Dans la liste Sélectionner une réservation, sélectionnez la réservation.
    • Dans la liste Sélectionner un projet, sélectionnez le projet.
    • Dans la liste Période, sélectionnez une période.

  6. Facultatif: Pour afficher plus de détails sur l'état de fonctionnement à l'aide d'un graphique d'utilisation des ressources ou d'un explorateur de jobs, cliquez sur En savoir plus.

BigQuery collecte les métriques en interrogeant les vues INFORMATION_SCHEMA suivantes:

Vues

L'onglet État de fonctionnement affiche les vues récapitulatives et détaillées suivantes.

Vue récapitulative

La vue récapitulative indique l'état des sous-systèmes de votre organisation, y compris les réservations et les régions, au cours des 30 dernières minutes.

Pour afficher la vue récapitulative, procédez comme suit :

  • Dans l'onglet État de fonctionnement, dans la liste Sélectionner un emplacement, sélectionnez Tous les emplacements.

Vue détaillée

La vue détaillée affiche des graphiques chronologiques détaillés de différentes métriques, au niveau d'un emplacement ou d'une réservation.

Pour afficher la vue détaillée, procédez comme suit :

  • Dans l'onglet État de fonctionnement, dans la liste Sélectionner un emplacement, sélectionnez la région ou l'édition.

Vous pouvez affiner les données affichées dans la vue détaillée à l'aide des filtres facultatifs suivants:

  • Dans la liste Sélectionner une réservation, sélectionnez le nom de la réservation.
  • Dans la liste Sélectionner un projet, sélectionnez le projet.

Graphiques

BigQuery fournit les options de tableau et de graphique suivantes, qui vous permettent d'explorer en détail vos métriques d'état de fonctionnement.

tableau récapitulatif

Les tableaux récapitulatifs affichent les métriques suivantes:

  • Utilisation des emplacements. Utilisation moyenne des emplacements. La capacité d'emplacements totale se compose de la capacité de référence et de la capacité d'autoscaling maximale.
  • Utilisation du brassage. Maximum de tous les taux d'utilisation moyens du brassage des réservations.
  • Simultanéité. Nombre maximal de jobs exécutés simultanément.
  • Octets traités. Nombre total d'octets traités par les jobs terminés.
  • Durée du job Durée d'exécution moyenne des jobs terminés, calculée entre leur création et leur fin.
  • Espace de stockage total. Nombre total d'octets logiques actifs au moment de la dernière actualisation.

Deux tableaux récapitulatifs sont présentés dans la vue: Récapitulatif des emplacements et Récapitulatif des réservations. Chaque ligne de tableau représente une utilisation d'un emplacement ou d'une réservation.

Les tableaux affichent les métriques des 30 minutes précédant la dernière mise à jour. Si l'option Données en direct est activée, les données interrogées sont actualisées toutes les cinq minutes. Si l'option Données en direct est désactivée, l'obsolescence maximale des données est d'environ une heure.

Les cellules de ce tableau incluent un code couleur si la métrique est supérieure au seuil prédéfini et si le nombre d'insights sur les performances pour les tâches répétées augmente:

  • Si la valeur de la métrique au cours des 30 minutes précédant la dernière mise à jour est supérieure à la valeur P99 de l'utilisation de la semaine précédente pour le même jour, la cellule de la table est marquée par un arrière-plan bleu foncé.
  • Si la valeur de la métrique au cours des 30 minutes est comprise entre la valeur P95 et P99 de l'utilisation de la semaine précédente pour le même jour, la cellule de la table est marquée par un arrière-plan bleu clair.

Tous les seuils sont prédéfinis et ne peuvent pas être personnalisés. Vous pouvez vérifier un seuil en cliquant sur Infos Infos.

Tableau récapitulatif d'administration BigQuery.

Filtrer les données

Vous pouvez filtrer les données des graphiques en fonction des valeurs suivantes :

Données de filtre d'administration BigQuery.

  • Emplacement. Les régions dans lesquelles l'organisation a enregistré une activité au cours des 30 derniers jours sont disponibles. La vue récapitulative présente un tableau récapitulant l'utilisation dans toutes les régions actives.
  • Réservation. Ce champ n'est disponible que dans la vue détaillée. Toutes les réservations appartenant au projet d'administration sont disponibles. Vous ne pouvez choisir qu'une seule réservation.
  • Projet. Ce champ n'est disponible que dans la vue détaillée. Tous les projets générant du trafic dans l'organisation sont disponibles. Vous ne pouvez sélectionner qu'un seul projet.
  • Période : Ce champ n'est disponible que dans la vue détaillée. Il affecte les graphiques chronologiques des métriques et le graphique en anneau sur les erreurs dans la vue détaillée. L'échelle des données dans les graphiques chronologiques des métriques est ajustée automatiquement en fonction de la période sélectionnée.

Graphique des requêtes les plus actives

Ce graphique affiche les dix jobs principaux avec des ressources actives triées par ordre décroissant. Dans le menu déroulant, vous pouvez sélectionner une option de tri en fonction de l'utilisation des emplacements ou de la durée du job. L'ID de job et le numéro d'utilisation des ressources pertinent s'affichent dans le graphique à barres. Sélectionnez Voir plus ou l'ID du job dans le graphique "Classement des requêtes actives" pour afficher plus de détails dans l'explorateur de jobs. Pour en savoir plus sur les détails de l'exécution et diagnostiquer les problèmes de performances de vos jobs BigQuery, consultez la page Obtenir des insights sur les performances des requêtes.

Graphique en anneau des erreurs

Ce graphique montre la proportion des principales causes d'échec au cours de la période sélectionnée. Dans la vue récapitulative, les 30 dernières minutes sont utilisées par défaut. Dans la vue détaillée, le sélecteur de période contrôle sa couverture. Vous pouvez regrouper les erreurs par type, par projet propriétaire ou par réservation. Le nombre de jobs ayant échoué s'affiche dans le graphique en anneau.

Graphique en anneau des erreurs BigQuery.

Graphiques chronologiques des métriques

Les graphiques affichent les métriques disponibles sur une période de 30 jours maximum. La période par défaut est d'une heure. À mesure que la période sélectionnée change, la précision de chaque point de données du graphique est mise à l'échelle automatiquement.

Ces graphiques affichent une valeur agrégée sur une région ou une réservation. Il n'est pas possible d'afficher des données pour plusieurs régions ou plusieurs réservations.

Graphiques chronologiques des métriques BigQuery.

Les graphiques chronologiques des métriques sont compatibles avec les métriques suivantes :

  • Utilisation des emplacements. Utilisation moyenne des emplacements au cours de la période sélectionnée. Affiche séparément l'utilisation globale des emplacements pour tous les jobs et les jobs ayant échoué.
  • Simultanéité des jobs. Nombre maximal de jobs exécutés simultanément au cours de la période sélectionnée. Affiche le nombre de jobs en cours d'exécution et en attente séparément et s'affiche sous la forme d'un graphique à barres empilées.
  • Octets analysés. Nombre total d'octets traités par les jobs terminés au cours de la période sélectionnée.
  • Brassage. Valeur maximale de tous les taux d'utilisation moyen du brassage de la réservation au cours de la période sélectionnée.
  • Durée du job Durée d'exécution moyenne des jobs terminés au cours de la période sélectionnée, calculée entre leur création et leur fin.
  • Erreur par type. Le graphique en anneau des erreurs indique la proportion de différentes causes d'échec au cours de la période sélectionnée.

En plus des tendances des métriques, les graphiques affichent des lignes de référence des valeurs de métriques P95 et P99 en fonction de l'utilisation de la semaine précédente pour le même jour. Le graphique Simultanéité des jobs affiche le seuil pour la somme des jobs en attente et en cours d'exécution. Ces valeurs référencées sont utilisées comme seuils de codes couleur dans le tableau récapitulatif.

Pour en savoir plus sur le graphique, cliquez sur En savoir plus. Vous êtes redirigé vers l'onglet Utilisation des ressources.

Table des insights

Cette table regroupe les erreurs de quota, les erreurs de type "accès refusé" et les insights sur les performances recueillis lors des exécutions de jobs au cours de la période sélectionnée. Les insights sont agrégés au niveau de la réservation. Chaque ligne fournit des informations sur le type d'insight, l'emplacement, la réservation, les détails de l'insight et des exemples d'ID de jobs. Cliquez sur les ID de jobs pour afficher plus de détails dans l'explorateur de jobs. Dans la vue récapitulative, la période d'observation par défaut couvre les 30 dernières minutes. Dans la vue détaillée, le sélecteur de période contrôle la période spécifique pour laquelle les données d'observation sont affichées.

Table des insights BigQuery.

Surveiller l'état opérationnel d'un seul projet

Le tableau de bord de l'état de fonctionnement du projet est la vue par défaut qui s'affiche si vous n'avez pas accès à l'ensemble de l'organisation ou si votre projet ne possède aucune réservation. Cette vue peut aider les analystes de projet à surveiller l'état du système pour leurs projets, un peu comme le tableau de bord de l'état opérationnel au niveau de l'organisation, mais elle n'affiche que les données au niveau du projet dans ses graphiques et filtres.

Afficher l'utilisation des ressources BigQuery

Les graphiques de ressources BigQuery vous aident à suivre l'utilisation passée des ressources pour planifier les besoins futurs et résoudre les problèmes de performances.

Vue d'utilisation des ressources, affichant une chronologie des métriques pour un projet d'organisation ou d'administration, ainsi que le volet dans lequel vous configurez le graphique

Les graphiques collectent des métriques en interrogeant les vues INFORMATION_SCHEMA suivantes:

Les données peuvent être mises à jour en temps réel sur une période maximale de 30 jours.

Lorsque vous consultez l'utilisation des ressources, vous pouvez configurer les éléments suivants:

  • Le graphique de chronologie des événements offre un aperçu des données sur une période de 30 jours maximum. La valeur par défaut est de 1 heure.

  • Le graphique principal affiche les métriques choisies, telles que l'utilisation des emplacements ou le nombre d'octets traités, au fil du temps pour votre organisation ou votre projet d'administration. Une légende du graphique fournit plus de détails sur les données affichées.

  • Le volet Configuration du graphique vous permet de sélectionner des vues prédéfinies de vos métriques ou de personnaliser vos propres métriques pour les vues.

Le graphique d'utilisation des ressources comporte les éléments suivants:

  • Dans l'onglet "Utilisation des ressources", maintenez le pointeur sur le chip d'état en haut du graphique pour afficher plus d'informations sur une métrique.

  • Les chips d'état affichent également les informations suivantes:

    • Si la métrique est toujours en cours de chargement, une icône de chargement s'affiche.
    • Si la métrique utilise des données obsolètes, une icône en forme d'horloge s'affiche.
    • Si la métrique ne peut pas être chargée en raison de filtres au niveau de la page non compatibles, elle est barrée.
    • Si la métrique ne parvient pas à se charger, le chip d'état est mis en surbrillance.

Afficher et configurer des graphiques sur l'utilisation des ressources

Pour afficher et configurer des graphiques d'utilisation des ressources, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Surveillance de BigQuery.

    Accéder à Monitoring

  2. Sélectionnez le projet. En tant qu'administrateur qui surveille l'utilisation des ressources de réservation, choisissez le projet d'administration utilisé pour acheter des emplacements et créer des réservations. En tant qu'analyste de données qui surveille l'utilisation des ressources de tâche, choisissez le projet correspondant.

  3. Sur la page Monitoring (Surveillance), accédez à l'onglet Resource utilization (Utilisation des ressources) pour afficher un résumé de l'utilisation des ressources, ventilé par emplacement.

  4. Choisissez une période pour les métriques de cette vue, par exemple 1 jour. Pour afficher les métriques en temps réel, où les requêtes s'exécutent sur des données récentes, cliquez sur l'option Données en direct. Ce paramètre est désactivé par défaut pour améliorer les performances. L'obsolescence maximale des données est d'environ une heure.

  5. Dans le volet Configuration du graphique, configurez les champs suivants:

    • Dans le champ Vue des métriques, sélectionnez l'une des vues.
    • Dans le champ Métriques, sélectionnez une métrique à afficher. Vous pouvez ajouter ou modifier une métrique.
    • Dans le champ Grouper par, sélectionnez le mode de regroupement des données.
    • Dans le champ Filtres, sélectionnez comment filtrer les données.

  6. Pour enregistrer les modifications apportées à la configuration du graphique, cliquez sur Appliquer.

Affichage des métriques

BigQuery fournit des vues préconfigurées des métriques d'utilisation des ressources. Les sections suivantes décrivent les métriques que vous pouvez configurer dans ces vues.

Présentation de la capacité des emplacements

Cette vue affiche des métriques sur l'utilisation et la capacité des emplacements pour les ressources de réservation dans le projet d'administration. Chaque métrique est associée aux paramètres par défaut suivants, que vous pouvez modifier dans le volet Configuration du graphique en cliquant sur le nom de la métrique:

  • Les données d'utilisation par défaut proviennent de la ressource de réservation, et les données de capacité proviennent de la ressource de capacité d'emplacement.
  • Le champ d'application par défaut est le projet.
  • L'agrégation par défaut de chaque métrique est basée sur l'utilisation maximale des ressources au cours de la période sélectionnée.
Nom de la métrique Description
Réservation – Projet – Utilisation des emplacements Surveille l'utilisation des emplacements pour la période sélectionnée.
Réservation - Projet - Utilisation des emplacements empruntés Surveille l'utilisation des emplacements supérieure à la capacité de la réservation au cours de la période sélectionnée. Cette métrique vous permet de surveiller les emplacements inactifs empruntés à d'autres réservations et engagements, ou les imprécisions d'arrondi dans les données d'utilisation. Ce dernier peut entraîner une valeur non nulle pour cette métrique, même si le partage des emplacements inactifs est désactivé.
L'utilisation des emplacements empruntés est une valeur approximative calculée en fonction de l'utilisation des emplacements, des emplacements réservés et des emplacements auto-adaptés. Si la valeur d'utilisation des emplacements dépasse la capacité d'engagement et les emplacements auto-évolutifs, le graphique regroupe les emplacements restants en tant qu'emplacements empruntés.
Capacité d'emplacements - Projet - Capacité totale des emplacements de base Surveille la taille de référence des réservations dans ce projet d'administration.
Capacité d'emplacements - Projet - Capacité d'emplacements maximale totale Surveille le nombre maximal d'emplacements disponibles au cours de la période sélectionnée. La métrique correspond à la somme de la capacité d'engagement, de la capacité de référence et de la capacité d'autoscaling.
Capacité d'emplacements - Projet - Capacité totale actuelle des emplacements Surveille le nombre réel d'emplacements attribués à vos réservations au cours de la période sélectionnée.
Présentation du projet

Cette vue affiche les métriques sur les ressources de tâche dans le projet dans lequel vous exécutez des requêtes. Chaque métrique est associée aux paramètres par défaut suivants, que vous pouvez modifier dans le volet Configuration du graphique en cliquant sur le nom de la métrique:

  • La ressource par défaut est la ressource de travail.
  • Le champ d'application par défaut est le projet.
Nom de la métrique Description
Tâche - Projet - Utilisation des emplacements Surveille l'utilisation des emplacements pour la période sélectionnée. L'agrégation par défaut est basée sur l'utilisation maximale des ressources au cours de la période sélectionnée.
Job - Project - Bytes processed Surveille le nombre total d'octets traités par les tâches terminées au cours de la période sélectionnée. L'agrégation par défaut correspond à la somme des octets traités au cours de la période sélectionnée.
Job - Project - Job concurrency Surveille le nombre de tâches exécutées simultanément au cours de la période sélectionnée. L'agrégation par défaut est basée sur l'utilisation maximale des ressources au cours de la période sélectionnée.
Job - Project - Job duration Surveille la durée d'exécution des tâches terminées au cours de la période sélectionnée. Le temps d'exécution mesure le temps écoulé entre la création et la fin d'une tâche. L'agrégation par défaut est basée sur l'exécution moyenne au cours de la période sélectionnée.
Présentation de la réservation

Cette vue affiche les métriques sur l'activité des tâches avec des ressources de réservation dans le projet d'administration. Chaque métrique est associée aux paramètres par défaut suivants, que vous pouvez modifier dans le volet Configuration du graphique en cliquant sur le nom de la métrique:

  • La ressource par défaut est la ressource de réservation.
  • Le champ d'application par défaut est le projet.
Nom de la métrique Description
Réservation – Projet – Utilisation des emplacements Surveille l'utilisation des emplacements pour la période sélectionnée. L'agrégation par défaut est basée sur l'utilisation maximale des ressources au cours de la période sélectionnée.
Réservation – Projet – Octets traités Surveille le nombre total d'octets traités par les tâches terminées au cours de la période sélectionnée. L'agrégation par défaut correspond à la somme des octets traités au cours de la période sélectionnée.
Reservation - Project - Job concurrency Surveille le nombre de tâches exécutées simultanément au cours de la période sélectionnée. L'agrégation par défaut est basée sur l'utilisation maximale des ressources au cours de la période sélectionnée.
Réservation - Projet - Durée de la tâche Surveille la durée d'exécution des tâches terminées au cours de la période sélectionnée. Le temps d'exécution mesure le temps écoulé entre la création et la fin d'un job. Il inclut la mise en file d'attente et les nouvelles tentatives. L'agrégation par défaut est basée sur l'exécution moyenne au cours de la période sélectionnée.
Réservation - Projet - Utilisation du brassage Surveille le taux d'utilisation du brassage au cours de la période sélectionnée. L'agrégation par défaut est basée sur l'utilisation moyenne au cours de la période sélectionnée.
Vue personnalisée

Pour créer une vue de métriques personnalisée, vous pouvez ajouter des métriques à partir de zéro ou commencer par l'une des vues de métriques prédéfinies (par exemple, la vue de métrique Vue d'ensemble des réservations) et personnaliser les métriques qu'elle contient.

Métriques

Lorsque vous configurez un graphique, vous pouvez ajouter, modifier ou supprimer les métriques d'utilisation des ressources qu'il surveille.

Pour configurer les métriques du graphique d'utilisation des ressources, procédez comme suit:

  1. Dans la console Google Cloud, affichez les graphiques sur l'utilisation des ressources BigQuery.

  2. Dans le volet Configuration du graphique, configurez le champ Métriques:

    1. Cliquez sur Ajouter un élément > Sélectionner une métrique.

    2. Dans la boîte de dialogue Sélectionner une métrique, choisissez les options suivantes:

      1. Type de ressource à surveiller: Tâche, Réservation ou Capacité d'emplacement.
      2. Champ d'application à surveiller. Par exemple, pour surveiller l'utilisation des ressources de réservation dans un projet d'administration, sélectionnez la portée Project (Projet).
      3. Choisissez une métrique à surveiller. Par exemple, pour surveiller les emplacements inactifs empruntés à d'autres réservations et engagements, ou l'imprécision d'arrondi dans les données d'utilisation, sélectionnez Utilisation des emplacements empruntés.

    3. Cliquez sur Appliquer.

    4. Dans la boîte de dialogue Nouvel élément, sélectionnez l'agrégation. Par exemple, pour surveiller l'utilisation maximale des emplacements supérieure à la capacité de la réservation au cours de la période sélectionnée, choisissez Max.

    5. Enregistrez la métrique en cliquant sur OK.

  3. Facultatif: Pour modifier une métrique existante, cliquez sur son nom, puis modifiez ses paramètres ou supprimez-la.

Types et portées de ressources compatibles pour les métriques

Les métriques d'utilisation des ressources sont classées par type et portée de ressource.

Types de ressources

Vous pouvez surveiller les types de ressources suivants:

Ressource Description
Job Métriques sur les détails des jobs BigQuery pour une portée et une période données.
Réservation Métriques sur l'utilisation des réservations BigQuery pour une période et un champ d'application donnés. Ces métriques agrégent les détails des tâches par réservation. Si vous n'avez qu'un accès partiel aux données au niveau de la réservation, des métriques d'utilisation agrégées des réservations sont disponibles, sans accès aux détails au niveau de la tâche.
Capacité d'emplacements Métriques sur la capacité de réservation et d'engagement BigQuery pour une portée et une période données.

Types de portée

Après avoir sélectionné une ressource pour une métrique, vous devez sélectionner un champ d'application.

  • Les ressources de réservation et de capacité d'emplacements ne sont compatibles qu'avec un champ d'application au niveau du projet.
  • La ressource de tâche peut être définie sur des portées au niveau du projet, du dossier ou de l'organisation. Les champs d'application plus larges nécessitent des autorisations supplémentaires.

Grouper par

Pour regrouper des données dans votre graphique d'utilisation des ressources:

  1. Dans la console Google Cloud, affichez les graphiques sur l'utilisation des ressources BigQuery.

  2. Dans le volet Configuration du graphique, configurez le champ Grouper par en sélectionnant l'une des options suivantes:

    • Aucune: cette option vous offre un aperçu général des métriques choisies au fil du temps dans l'ensemble de l'organisation.
    • Project (Projet) : cette option regroupe les métriques choisies par projet. Si plus de 50 projets sont disponibles, seuls les 50 premiers en termes d'utilisation des emplacements sont affichés.
    • Toutes les autres options de regroupement: ces options sont semblables à la vue du projet, les données étant regroupées par leur dimension respective. Si une option de regroupement n'est pas compatible avec toutes les métriques choisies, vous ne pouvez pas la sélectionner.

Lorsque vous configurez votre graphique d'utilisation des ressources, vous pouvez appliquer des filtres à vos données, par exemple pour afficher l'utilisation des ressources pour les ressources de l'édition Enterprise ou par ID de ressource.

Pour filtrer les données du graphique, appliquez des filtres dans le volet de filtrage. Vous ne pouvez sélectionner un filtre que s'il est compatible avec les métriques que vous avez sélectionnées. Pour afficher les autorisations requises, cliquez sur le menu Filtrer.

Afficher les données d'utilisation des ressources au niveau du projet

Vous pouvez analyser l'utilisation des ressources au niveau du projet en suivant les mêmes étapes de configuration que pour afficher les données au niveau de l'organisation. Les graphiques n'affichent que les données et les options de configuration au niveau du projet (les options au niveau de l'organisation sont grisées). Cette portée au niveau du projet affiche l'utilisation globale des ressources, quel que soit le mode de facturation du projet contextuel.

Limites du graphique d'utilisation des ressources

  • Le graphique et le tableau au milieu de la page affichent des métriques pertinentes pour la période et la granularité sélectionnées.
  • Les métriques ayant la même unité partagent la même échelle. Le graphique accepte jusqu'à deux échelles différentes.

Passer à l'ancienne interface utilisateur

Par défaut, vous avez accès aux graphiques de ressources d'édition lorsque vous accédez au projet d'administration des réservations. Vous pouvez basculer entre les graphiques de ressources à la demande et les graphiques de ressources d'édition à partir du projet d'administration des réservations (Aperçu).

Pour afficher des graphiques sur les ressources, procédez comme suit:

  1. Accédez à la page BigQuery.
    Accéder à BigQuery
  2. Dans le menu des projets, sélectionnez le projet d'administration que vous avez utilisé pour acheter des emplacements et créer des réservations.
  3. Dans le menu de navigation, cliquez sur Monitoring.
  4. Dans la section Options de graphique > Champ d'application, vous pouvez sélectionner le modèle de facturation dans la liste, qui comprend trois types d'éditions et à la demande. Par défaut, le modèle de facturation est défini sur l'édition Enterprise.
  5. Dans la section Options de graphique > Configurations de graphique, procédez comme suit :
    1. Dans la liste Graphique, sélectionnez le type de graphique. Pour en savoir plus sur les différentes options de graphique, consultez la section Options de graphique.
    2. Dans la liste Métriques, sélectionnez le type de métrique disponible.
    3. Dans la liste Regrouper par, sélectionnez la dimension selon laquelle vous souhaitez regrouper les données dans le graphique. Pour en savoir plus sur les différentes dimensions, consultez la section Options de regroupement.
    4. Dans la liste Filtres, sélectionnez les options de filtre disponibles. Pour en savoir plus sur les différents filtres, consultez la section Filtrer et rechercher.
    5. Définissez la période pour laquelle vous souhaitez afficher les données dans le graphique.

Configurations de graphiques

Vous pouvez ajuster l'affichage de vos graphiques de ressources en modifiant les options de configuration suivantes.

Options du graphique

BigQuery fournit les types de métriques suivants à afficher dans les graphiques:

  • Utilisation des emplacements Utilisation moyenne des emplacements. Si l'option Grouper par est définie sur Global, ou si les Filtres sont définis sur Aucun ou sur une seule réservation, les métriques sur la capacité et l'utilisation des emplacements empruntés sont également affichées.
    • Utilisation totale Utilisation moyenne des emplacements au cours de la période sélectionnée.
    • Utilisation des emplacements empruntés Utilisation moyenne supérieure à la capacité de la réservation. Il s'agit généralement d'emplacements inactifs empruntés à d'autres réservations et engagements, ou d'une imprécision d'arrondi dans les données d'utilisation. Des emplacements inactifs supplémentaires apparaissent dans le graphique d'utilisation des ressources, même si le partage des emplacements inactifs est désactivé. L'utilisation des emplacements inactifs est une valeur approximative calculée en fonction de l'utilisation des emplacements, des emplacements réservés et des emplacements auto-échelles. Si la valeur d'utilisation des emplacements dépasse la capacité d'engagement, le graphique les regroupe en tant qu'emplacements inactifs.
    • Capacité d'engagement. Taille de l'engagement d'édition.
    • Capacité de référence Taille de référence de la réservation.
    • Capacité d'autoscaling. Taille de l'emplacement adaptée automatiquement.
    • Capacité maximale Nombre maximal d'emplacements auxquels l'utilisateur peut accéder.
  • Simultanéité des jobs. Nombre maximal de jobs exécutés simultanément au cours de la période sélectionnée.
  • Performances des tâches Durée moyenne d'exécution des tâches terminées, calculée à partir de l'heure de création et de fin de tâche.
  • Jobs ayant échoué Utilisation moyenne des emplacements au cours de la période sélectionnée par les tâches ayant échoué.
  • Octets traités Nombre total d'octets traités par les tâches terminées au cours de la période sélectionnée.
  • Utilisation du brassage. Taux d'utilisation aléatoire des données de brassage au cours de la période sélectionnée (aperçu).
Composant de table

La table affiche des métriques pertinentes pour la période et la dimension sélectionnées dans le graphique.

Le graphique Utilisation des emplacements affiche l'utilisation moyenne des emplacements pour tous les jobs exécutés au cours de la période sélectionnée. Les tâches non terminées au cours de la période sélectionnée ne comprennent que les emplacements utilisés pendant cette période.

Pour le graphique de performances des tâches, le composant de table affiche les métriques suivantes:

  • Nombre de tâches. Nombre de tâches terminées qui ont été exécutées ou partiellement exécutées au cours de la période sélectionnée.
  • Durée moyenne d'un job Durée moyenne d'exécution de la tâche pour une tâche terminée ayant au moins été partiellement exécutée au cours de la période sélectionnée.
  • Durée médiane d'un job Durée médiane de la tâche pour une tâche terminée ayant au moins été partiellement exécutée au cours de la période sélectionnée.
  • Durée minimale du job : Durée minimale de la tâche pour une tâche terminée ayant au moins été partiellement exécutée au cours de la période sélectionnée. Cette colonne est masquée par défaut, mais vous pouvez l'activer dans les Options d'affichage des colonnes.
  • Durée maximale du job : Durée maximale de la tâche pour une tâche terminée ayant au moins été partiellement exécutée au cours de la période sélectionnée. Cette colonne est masquée par défaut, mais vous pouvez l'activer dans les Options d'affichage des colonnes.

Pour le graphique des Tâches ayant échoué, le composant de table affiche les données suivantes:

  • Utilisation moyenne des emplacements. Identique au graphique Utilisation des emplacements, mais uniquement pour les tâches ayant échoué.
  • Nombre total de tâches ayant échoué Nombre de tâches ayant échoué au cours de la période sélectionnée.
Options de regroupement

Selon le type de graphique, vous pouvez regrouper les données de la vue graphique selon plusieurs dimensions:

  • Vue globale. La vue d'ensemble offre un aperçu général de la métrique sélectionnée au fil du temps dans l'ensemble de l'organisation. Pour vous donner une idée de l'utilisation globale des emplacements au fil du temps, la capacité et l'utilisation sont affichées sur le même graphique.
  • Projet. La vue Projet affiche les métriques sélectionnées regroupées par projet. Si une organisation possède plus de 10 projets, seuls les 10 premiers en termes d'utilisation des emplacements, de simultanéité des tâches, de durée des tâches ou de tâches en échec au cours de la période sélectionnée sont affichés. Pour l'utilisation des emplacements, tous les autres projets sont regroupés dans la catégorie Autre au bas du graphique, afin de faciliter la comparaison avec la capacité globale.
  • Toutes les autres vues par groupe sont semblables à la vue du projet, les données étant regroupées par leur dimension respective.
Option de période

Vous pouvez modifier la période en procédant comme suit :

  • Sélectionnez la période et faites-la glisser dans le graphique de chronologie des événements.
  • Sélectionnez la période et faites-la glisser dans le graphique principal.

La période d'alignement est automatiquement mise à jour à mesure que la période sélectionnée change. Plus la période d'alignement est courte, plus la vue est détaillée. Pour mieux afficher les ressources qui changent fréquemment, par exemple l'option Utilisation des emplacements, réduisez la période d'alignement.

Filtrer et rechercher

Pour affiner le contenu du graphique, appliquez des filtres dans le panneau des filtres. Certains filtres ne sont disponibles que pour certains graphiques. Les filtres Réservations, Dossiers, Projets et Utilisateurs sont renseignés avec les ressources respectives qui ont consommé des emplacements au cours de la période sélectionnée. Par exemple, si un projet n'a pas été utilisé au cours des 30 derniers jours, il n'apparaît pas dans la liste des filtres du projet.

Le graphique est actualisé après l'application des filtres afin d'afficher des données selon les paramètres sélectionnés.

Résoudre les conflits d'emplacements

Un conflit d'emplacements peut se produire lorsqu'il n'y a pas assez d'emplacements pour exécuter toutes vos tâches, ce qui entraîne des problèmes de performances. Pour résoudre les problèmes de conflit d'emplacements, consultez les étapes et les bonnes pratiques ci-dessous.

Si vous avez suivi ces bonnes pratiques, mais que les performances de vos jobs sont toujours mauvaises, vous pouvez demander de l'aide.

Pointes de simultanéité des jobs

Utilisez la vue détaillée pour vérifier si une augmentation soudaine des exécutions de tâches s'accompagne d'une augmentation simultanée de l'utilisation des emplacements. Cela peut indiquer qu'il y a trop de tâches en concurrence pour les emplacements limités par votre limite de réservation.

  • Bonne pratique: envisagez d'optimiser les requêtes gourmandes en ressources ou la capacité d'emplacements de votre réservation. Pour en savoir plus sur l'optimisation des performances des requêtes, consultez la page Optimiser le calcul des requêtes.

Utilisation élevée des emplacements

Utilisez la vue détaillée pour vérifier si la durée des tâches a augmenté, en particulier si certaines dépassent la capacité maximale de votre réservation. Une utilisation constante des emplacements peut indiquer un conflit d'emplacements en cours.

  • Bonne pratique: Vérifiez les requêtes à l'aide du filtre de conflit d'emplacements de l'explorateur de jobs pour identifier celles qui consomment le plus d'emplacements et les optimiser.

Durée des jobs prolongée

Si l'exécution des tâches prend beaucoup plus de temps, consultez la vue détaillée. Une simultanéité élevée des jobs et des pics d'utilisation des emplacements peuvent indiquer une contention d'emplacements.

  • Bonne pratique: isolez les tâches critiques en suspendant temporairement les tâches moins importantes ou en réduisant votre taux d'envoi global de tâches.

Messages de conflit d'emplacements

Le tableau des insights peut afficher des messages tels que There were NUMBER jobs detected with slot_contention in the reservation., qui indiquent des problèmes de conflit d'emplacements. Consultez l'explorateur de jobs pour examiner les détails des jobs spécifiques signalés dans ces messages.

  • Bonne pratique: Optimisez les requêtes identifiées ou ajustez l'allocation d'emplacements de votre réservation.

Étape suivante