Surveiller l'état, l'utilisation des ressources et les jobs

En tant qu'administrateur BigQuery, vous pouvez utiliser des graphiques de ressources administratives pour surveiller l'état de votre organisation, l'utilisation des emplacements et les performances des jobs BigQuery au fil du temps.

Pour afficher le tableau de bord de l'état de fonctionnement, vous devez disposer d'au moins une réservation à laquelle vous accédez via un projet d'administration. Les graphiques de ressources et l'explorateur de jobs sont disponibles pour tous les utilisateurs disposant des autorisations appropriées.

Rôles requis

Pour obtenir les autorisations nécessaires pour afficher toutes les données des graphiques de ressources administratives, demandez à votre administrateur de vous accorder les rôles IAM suivants sur votre organisation :

Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.

Ces rôles prédéfinis contiennent les autorisations requises pour afficher toutes les données des graphiques de ressources administratives. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Vous devez disposer des autorisations suivantes pour afficher toutes les données des graphiques de ressources administratives :

  • bigquery.jobs.listExecutionMetadata sur l'organisation
  • bigquery.jobs.listAll sur l'organisation
  • bigquery.reservationAssignments.list sur le projet d'administration de la réservation
  • bigquery.capacityCommitments.list sur le projet d'administration de la réservation
  • Pour afficher les données récapitulatives sur l'état de fonctionnement : bigquery.tables.get or bigquery.tables.list sur l'organisation
  • Pour afficher les données partielles au niveau de la réservation, procédez comme suit :
    • bigquery.reservations.list sur le projet d'administration de la réservation
    • bigquery.reservationAssignments.list sur le projet d'administration de la réservation
  • Pour afficher les données de capacité de réservation sur les graphiques de ressources d'administration : bigquery.capacityCommitments.list sur le projet d'administration de la réservation
  • Pour afficher les données au niveau du projet : bigquery.jobs.listAll sur le projet

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Surveiller l'état opérationnel d'une organisation

Pour demander un commentaire ou une assistance concernant cette fonctionnalité, envoyez un e-mail à l'adresse bq-operational-health+feedback@google.com.

Le tableau de bord de l'état de fonctionnement affiche les métriques clés de votre organisation et de ses réservations dans tous les emplacements où vous avez des réservations. Vous pouvez utiliser ce tableau de bord pour surveiller les métriques, y compris les suivantes :

  • Utilisation des emplacements
  • Utilisation du brassage
  • Simultanéité des jobs
  • Erreurs
  • Durée du job
  • Octets traités
  • Espace de stockage total

BigQuery fournit ces informations en interrogeant les vues INFORMATION_SCHEMA suivantes :

Pour surveiller l'état de fonctionnement, procédez comme suit :

  1. Accédez à la page BigQuery.

    Accéder à BigQuery

  2. Dans le menu des projets, sélectionnez le projet d'administration que vous avez utilisé pour acheter des emplacements et créer des réservations.

  3. Dans le panneau de navigation, sélectionnez Administration > Monitoring. Par défaut, le graphique de l'état de fonctionnement affiche des métriques récapitulatives pour tous les emplacements et toutes les réservations.

  4. Pour afficher des données plus fréquemment mises à jour, vous pouvez activer ou désactiver l'option Données en direct. Si l'option Données en direct est activée, les données sont automatiquement actualisées toutes les cinq minutes. Si l'option Données en direct est désactivée, l'obsolescence maximale des données est d'environ une heure. L'heure de la dernière mise à jour des données est affichée.

Pour afficher la vue détaillée, sélectionnez les valeurs pour lesquelles vous souhaitez afficher les graphiques chronologiques détaillés :

  1. Dans la liste Sélectionner un emplacement, sélectionnez une région spécifique.
  2. Dans la liste Sélectionner une réservation, sélectionnez la réservation.
  3. Dans la liste Période, sélectionnez une période.
  4. Pour en savoir plus sur l'un des graphiques de métriques clés, cliquez sur En savoir plus. Pour obtenir plus d'informations dans le graphique Explorateur de jobs, cliquez sur En savoir plus dans le graphique des requêtes actives les plus fréquentes.

Vues

L'onglet État de fonctionnement affiche les vues suivantes :

Vue récapitulative

La vue récapitulative fournit une vue de l'état des sous-systèmes, y compris les réservations et les régions au cours des 30 dernières minutes pour votre organisation.

Vue récapitulative d'administration BigQuery.

Pour afficher la vue récapitulative, procédez comme suit :

  • Dans le graphique État de fonctionnement, dans la liste Sélectionner un emplacement, sélectionnez Tous les emplacements.

Vue détaillée

La vue détaillée affiche des graphiques chronologiques détaillés de différentes métriques, au niveau d'un emplacement ou d'une réservation.

Présentation de la vue d'administration détaillée de BigQuery.

Pour afficher la vue détaillée, procédez comme suit :

  • Dans le graphique État de fonctionnement, dans la liste Sélectionner un emplacement, sélectionnez la région ou l'édition, ou dans la liste Sélectionner une réservation, sélectionnez le nom de la réservation.

Graphiques

L'onglet État de fonctionnement affiche les options de configuration de graphique suivantes :

tableau récapitulatif

Les tableaux récapitulatifs affichent les métriques suivantes :

  • Utilisation des emplacements. Utilisation moyenne des emplacements. La capacité d'emplacements totale se compose de la capacité de référence et de la capacité d'autoscaling maximale.
  • Utilisation du brassage. Maximum de tous les taux moyens d'utilisation du brassage des réservations.
  • Simultanéité. Nombre maximal de jobs qui ont été exécutés simultanément.
  • Octets traités. Nombre total d'octets traités par les jobs terminés.
  • Durée du job Durée moyenne d'exécution des jobs, calculée entre leur création et leur fin.
  • Espace de stockage total. Nombre total d'octets logiques actifs au moment de la dernière actualisation.

Deux tableaux récapitulatifs sont présentés dans la vue par emplacement ou par réservations. Chaque ligne de tableau représente une utilisation d'un emplacement ou d'une réservation.

Les tableaux affichent les métriques des 30 minutes précédant la dernière mise à jour. Si l'option Données en direct est activée, les données sont automatiquement actualisées toutes les cinq minutes. Si l'option Données en direct est désactivée, l'obsolescence maximale des données est d'environ une heure.

Les cellules de ce tableau incluent un code couleur si la métrique est supérieure au seuil. Tous les seuils sont prédéfinis et ne peuvent pas être personnalisés. Si la valeur de la métrique au cours des 30 dernières minutes est supérieure à la valeur P99 de l'utilisation du jour précédent, la cellule de la table est marquée par un arrière-plan bleu foncé. Si la valeur des métriques au cours des 30 minutes précédant la dernière mise à jour est comprise entre la valeur P95 et P99 de l'utilisation du jour précédent, la cellule de la table est marquée par un arrière-plan bleu clair.

Tableau récapitulatif d'administration BigQuery.

Filtrer les données

Vous pouvez filtrer les données des graphiques en fonction des valeurs suivantes :

Données de filtre d'administration BigQuery.

  • Emplacement. Les régions dans lesquelles l'organisation a enregistré une activité au cours des 30 derniers jours sont disponibles. La vue récapitulative présente un tableau récapitulatif par région permettant de suivre l'utilisation dans toutes les régions actives.
  • Réservation. Ce champ devient sélectionnable après le choix d'une région. Toutes les réservations appartenant aux projets d'administration sont disponibles. Vous ne pouvez choisir qu'une seule réservation.
  • Période : Ce champ n'est disponible que pour la vue détaillée. Il affecte les graphiques chronologiques des métriques et le graphique en anneau sur les erreurs dans la vue détaillée. L'échelle des données dans les graphiques chronologiques des métriques est ajustée automatiquement en fonction de la période sélectionnée.

Graphique des requêtes les plus actives

Ce graphique affiche les dix jobs principaux avec des ressources actives triées par ordre décroissant. À l'aide du menu déroulant, vous pouvez sélectionner une option de tri en fonction de l'utilisation des emplacements ou de la durée du job. L'ID de job et le numéro d'utilisation des ressources pertinent s'affichent dans le graphique à barres. Sélectionnez En savoir plus dans le graphique des requêtes les plus actives pour afficher l'explorateur de jobs. Pour en savoir plus sur les détails de l'exécution et diagnostiquer les problèmes de performances de vos jobs BigQuery, consultez la page Graphique d'exécution des requêtes.

Graphique à barres de la liste des jobs d'administration BigQuery les plus fréquents.

Graphique en anneau des erreurs

Ce graphique montre la proportion des principales causes d'échec au cours de la période sélectionnée. Dans la vue récapitulative, les 30 dernières minutes sont utilisées par défaut. Dans la vue détaillée, le sélecteur de période contrôle sa couverture. Vous pouvez regrouper les erreurs par type, par projet propriétaire ou par réservation. Le nombre de jobs ayant échoué s'affiche dans le graphique en anneau.

Graphique en anneau des erreurs BigQuery.

Graphiques chronologiques des métriques

Ces graphiques affichent les métriques disponibles sur une période de 30 jours maximum. La période par défaut est d'une heure. À mesure que la période sélectionnée change, la précision de chaque point de données du graphique est mise à l'échelle automatiquement.

Ces graphiques affichent une valeur agrégée sur une région ou une réservation. Il n'est pas possible d'afficher des données pour plusieurs régions ou plusieurs réservations.

Graphiques chronologiques des métriques BigQuery.

Les graphiques chronologiques des métriques sont compatibles avec les métriques suivantes :

  • Utilisation des emplacements. Utilisation moyenne des emplacements au cours de la période sélectionnée. Affiche séparément l'utilisation globale des emplacements pour tous les jobs et les jobs ayant échoué.
  • Simultanéité des jobs. Nombre maximal de jobs pouvant être exécutés simultanément au cours de la période sélectionnée. Affiche le nombre de jobs en cours d'exécution et en attente séparément et s'affiche sous la forme d'un graphique à barres empilées.
  • Octets analysés. Nombre total d'octets traités par les jobs terminés au cours de la période sélectionnée.
  • Brassage. Valeur maximale de tout taux d'utilisation moyen du brassage de la réservation au cours de la période sélectionnée.
  • Durée du job Durée moyenne d'exécution des jobs au cours de la période sélectionnée, calculée à partir de l'heure de création et de fin du job.
  • Erreur par type. Le graphique en anneau des erreurs indique la proportion de différentes causes d'échec au cours de la période sélectionnée.

En plus des tendances des métriques, ces graphiques affichent des lignes de référence des valeurs de métriques P95 et P99 en fonction de l'utilisation du jour précédent. Le graphique Simultanéité des jobs affiche le seuil pour la somme des jobs en attente et en cours d'exécution. Ces valeurs référencées sont utilisées comme seuils de codes couleur dans le tableau récapitulatif.

Pour en savoir plus sur le graphique, cliquez sur En savoir plus. Vous êtes redirigé vers l'onglet Utilisation des ressources.

Afficher l'utilisation des ressources

Les données des graphiques de ressources d'administration sont basées sur la vue INFORMATION_SCHEMA.JOBS et la vue INFORMATION_SCHEMA.JOBS_TIMELINE, qui sont mises à jour en temps réel sur une période maximale de 30 jours.

Vous pouvez afficher l'utilisation des ressources BigQuery à l'aide des graphiques de ressources d'administration. Ces graphiques de ressources comportent les trois composants interactifs principaux suivants :

  • Le graphique de chronologie des événements offre un aperçu des données sur une période de 30 jours maximum. La valeur par défaut est 1 jour.

  • Le graphique principal affiche les métriques sélectionnées (par exemple, l'utilisation des emplacements, la simultanéité des jobs, les performances des jobs, les erreurs ou le nombre d'octets traités) au fil du temps pour le projet d'administration de l'organisation ou de la réservation. Ce graphique inclut une légende de table correspondant aux données du graphique qui affiche des statistiques plus détaillées agrégées sur la période donnée.

  • Panneau latéral permettant de sélectionner divers graphiques, répartitions et options de filtrage.

Le schéma suivant présente les différentes options de graphiques d'administration dans BigQuery :

Présentation des graphiques de ressources d'administration BigQuery.

Avant de commencer

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

    Vous pouvez créer un projet d'administration de réservation de projet Google Cloud distinct pour gérer la réservation en lui attribuant un nom descriptif tel que bq-COMPANY_NAME-admin.

  2. Make sure that billing is enabled for your Google Cloud project.

  3. Enable the BigQuery Reservation API.

    Enable the API

    Pour en savoir plus, consultez la section Activer l'API BigQuery Reservation.

  4. Dans la console Google Cloud, affichez vos quotas d'emplacements :

    Afficher les quotas d'emplacements

    Pour acheter des emplacements, vous devez disposer d'un quota d'emplacements suffisant pour la région dans laquelle vous souhaitez effectuer l'achat d'emplacements.

    Si votre quota d'emplacements pour la région souhaitée est inférieur au nombre d'emplacements que vous voulez acheter, consultez la section Demander une augmentation du quota.

Afficher les graphiques des ressources administratives

Par défaut, vous avez accès aux graphiques des ressources administratives de l'édition lorsque vous accédez au projet d'administration des réservations. Vous pouvez basculer entre les graphiques des ressources d'administration à la demande et les graphiques des ressources administratives des éditions depuis le projet d'administration de la réservation (bêta).

Pour afficher les graphiques des ressources d'administration, procédez comme suit :

  1. Accédez à la page BigQuery.

    Accéder à BigQuery

  2. Dans le menu des projets, sélectionnez le projet d'administration que vous avez utilisé pour acheter des emplacements et créer des réservations.

  3. Dans le panneau de navigation, sélectionnez Administration > Monitoring.

  4. Dans la section Options de graphique > Champ d'application, vous pouvez sélectionner le modèle de facturation dans la liste, qui comprend trois types d'éditions et à la demande. Par défaut, le modèle de facturation est défini sur l'édition Enterprise.

  5. Dans la section Options de graphique > Configurations de graphique, procédez comme suit :

    1. Dans la liste Graphique, sélectionnez le type de graphique. Pour en savoir plus sur les différentes options de graphique, consultez la section Options de graphique.
    2. Dans la liste Métriques, sélectionnez le type de métrique disponible.
    3. Dans la liste Regrouper par, sélectionnez la dimension selon laquelle vous souhaitez regrouper les données dans le graphique. Pour en savoir plus sur les différentes dimensions, consultez la section Options de regroupement.
    4. Dans la liste Filtres, sélectionnez les options de filtre disponibles. Pour en savoir plus sur les différents filtres, consultez la section Filtrer et rechercher.
    5. Définissez la période pour laquelle vous souhaitez afficher les données dans le graphique.

Configurations de graphiques

Vous pouvez ajuster l'affichage de vos graphiques de ressources d'administration en modifiant les options de configuration suivantes :

Options du graphique

BigQuery fournit les types de métriques suivants à afficher dans les graphiques :

  • Utilisation des emplacements Utilisation moyenne des emplacements au cours de la période sélectionnée. Les capacités et l'utilisation des emplacements inactifs s'appliquent dans les conditions suivantes :

    • L'option "Grouper par" est définie sur "Global".
    • Aucun filtre ou "Filtrer par une seule réservation".

  • Simultanéité des tâches : nombre maximal de tâches pouvant être exécutées simultanément au cours de la période sélectionnée.

  • Performances des tâches : durée moyenne d'exécution des tâches terminées, calculée à partir des heures de création et de fin de tâche.

  • Erreurs de tâche : utilisation moyenne des emplacements au cours de la période sélectionnée à partir de tâches ayant échoué.

  • Octets traités : nombre total d'octets traités par les tâches terminées au cours de la période sélectionnée.

  • Utilisation du brassage : taux d'utilisation aléatoire des données de brassage au cours de la période sélectionnée (aperçu).

Composant de table

La table affiche des métriques pertinentes pour la période et la dimension sélectionnées dans le graphique.

Le graphique Utilisation des emplacements affiche l'utilisation moyenne des emplacements pour tous les jobs exécutés au cours de la période sélectionnée. Les jobs non terminés au cours de la période sélectionnée ne comprennent que les emplacements utilisés pendant cette période.

Pour le graphique de performances des tâches, le composant de table affiche les métriques suivantes :

  • Nombre de tâches : nombre de tâches terminées qui ont été exécutées ou partiellement exécutées au cours de la période sélectionnée.

  • Durée moyenne de la tâche : durée moyenne d'exécution de la tâche pour une tâche terminée ayant au moins été partiellement exécutée au cours de la période sélectionnée.

  • Durée médiane de la tâche : durée médiane d'exécution de la tâche pour une tâche terminée ayant au moins été partiellement exécutée au cours de la période sélectionnée.

  • Durée minimale du job : Durée minimale de la tâche pour une tâche terminée ayant au moins été partiellement exécutée au cours de la période sélectionnée. Cette colonne est masquée par défaut, mais vous pouvez l'activer dans les Options d'affichage des colonnes.

  • Durée maximale du job : Durée maximale de la tâche pour une tâche terminée ayant au moins été partiellement exécutée au cours de la période sélectionnée. Cette colonne est masquée par défaut, mais vous pouvez l'activer dans les Options d'affichage des colonnes.

Pour le graphique des Tâches ayant échoué, le composant de table affiche les données suivantes :

  • Utilisation moyenne des emplacements : identique au graphique Utilisation des emplacements, mais uniquement pour les tâches ayant échoué.

  • Nombre total de tâches ayant échoué : nombre de tâches ayant échoué au cours de la période sélectionnée.

Options de regroupement

Selon le type de graphique, vous pouvez regrouper les données de la vue graphique selon plusieurs dimensions :

  • Vue globale. La vue globale offre un aperçu général d'une métrique sélectionnée au fil du temps dans l'ensemble de l'organisation. Pour vous donner une idée de l'utilisation globale des emplacements au fil du temps, la capacité et l'utilisation sont affichées sur le même graphique.

  • Projet. La vue Projet affiche les métriques sélectionnées regroupées par projet. Si une organisation possède plus de 10 projets, seuls les 10 premiers en termes d'utilisation des emplacements, de simultanéité des tâches, de durée des tâches ou de tâches en échec au cours de la période sélectionnée sont affichés. Pour l'utilisation des emplacements, tous les autres projets sont regroupés dans la catégorie Autre au bas du graphique, afin de faciliter la comparaison avec la capacité globale.

  • Toutes les autres vues par groupe sont semblables à la vue du projet, les données étant regroupées par leur dimension respective.

Option de période

Vous pouvez modifier la période en procédant comme suit :

  • Sélectionnez la période et faites-la glisser dans le graphique de chronologie des événements.

  • Sélectionnez la période et faites-la glisser dans le graphique principal.

La période d'alignement est automatiquement mise à jour à mesure que la période sélectionnée change. Plus la période d'alignement est courte, plus la vue est détaillée. Pour mieux afficher les ressources qui changent fréquemment, par exemple l'option Utilisation des emplacements, réduisez la période d'alignement.

Pour affiner le contenu du graphique, appliquez des filtres dans le panneau des filtres. Certains filtres ne sont disponibles que pour certains graphiques. Les filtres Réservations, Dossiers, Projets et Utilisateurs sont renseignés avec les ressources respectives ayant utilisé des emplacements au cours de la période sélectionnée. Par exemple, si un projet n'a pas été utilisé au cours des 30 derniers jours, il n'apparaît pas dans la liste du filtre "Projets".

Le graphique est actualisé après l'application des filtres afin d'afficher des données selon les paramètres sélectionnés.

Afficher les données des graphiques d'administration au niveau du projet

Vous pouvez ajuster le champ d'application dans les options du graphique pour générer une vue d'ensemble des graphiques d'administration au niveau du projet. Cette vue peut aider les analystes de projet à surveiller l'utilisation des ressources pour les projets détenus, comme les graphiques d'administration au niveau organisationnel, à l'exception de certaines options de graphiques et du regroupement par options non applicables. Cette vue montre l'utilisation globale des ressources, quel que soit le mode de facturation du projet contextuel.

Présentation des graphiques de ressources administratives au niveau du projet BigQuery.

Lorsque vous accédez aux graphiques d'administration d'un projet non administrateur avec des autorisations au niveau de l'organisation, le graphique d'administration passe au niveau du projet par défaut. Vous pouvez revenir à la vue appropriée à l'aide de la liste déroulante Champ d'application dans les options de graphique.

Afficher l'explorateur de jobs d'administration

BigQuery fournit des informations et des insights sur les requêtes en interrogeant les vues INFORMATION_SCHEMA suivantes :

Étant donné que ces vues INFORMATION_SCHEMA sont régionalisées, vous pouvez afficher les jobs correspondants en fonction de la région sélectionnée.

Filtrer les jobs

Pour filtrer les jobs des requêtes figurant dans INFORMATION_SCHEMA.JOBS* views, procédez comme suit :

  1. Accédez à la page BigQuery.

    Accéder à BigQuery

  2. Dans le menu des projets, sélectionnez le projet d'administration que vous avez utilisé pour acheter des emplacements et créer des réservations.

  3. Dans le panneau de navigation, sélectionnez Administration > Monitoring.

  4. Cliquez sur l'onglet Explorateur de jobs.

  5. Dans la liste Emplacement, sélectionnez l'emplacement pour lequel vous souhaitez afficher les jobs. Vous pouvez consulter la liste de tous les jobs de requête exécutés dans les vues INFORMATION_SCHEMA.JOBS pour cet emplacement.

    Vous pouvez également afficher les requêtes actives et en file d'attente, ainsi que l'utilisation totale des emplacements au cours de la dernière minute.

  6. Filtrez les jobs à l'aide des options. Filtrez les jobs à l'aide des options.

    Figure 1 : Filtrer les jobs.

    Dans la figure 1, les options de filtrage des jobs sont les suivantes :

    • Période pendant laquelle les jobs ont été exécutés
    • Champ d'application, tel que le projet et l'organisation
    • État du job (par exemple, "En cours d'exécution", "En attente", "Terminé" ou "Erreur")
    • ID des jobs
    • ID d'adresse e-mail du propriétaire des jobs d'administration
    • Jobs ayant pris plus de temps que la durée d'utilisation des emplacements spécifiée
    • Durée du job
    • Jobs ayant traité plus d'octets que le nombre d'octets traités spécifié
    • Types d'insights sur les requêtes, tels que les conflits d'emplacements, le dépassement de la capacité de brassage de la mémoire et la modification de l'échelle de saisie des données
    • Hachage de la requête contenant les hachages de la requête. Il s'agit d'un hachage hexadécimal STRING qui ignore les commentaires, les valeurs de paramètre, les UDF et les littéraux. Ce champ apparaît pour les requêtes GoogleSQL réussies qui ne sont pas des succès de cache (hit).

Afficher les détails d'exécution d'une requête

Pour afficher les détails d'exécution des requêtes pour les jobs, procédez comme suit :

  1. Accédez à la page Monitoring.

    Accéder à Monitoring

  2. Pour afficher les jobs, cliquez sur Explorateur de jobs.

  3. Vous pouvez filtrer les jobs pour en afficher un nombre restreint.

  4. Cliquez sur le job pour lequel vous souhaitez afficher les détails d'exécution des requêtes.

  5. Dans le volet Résultats de la requête, vous pouvez afficher les détails de l'exécution de vos jobs d'administration en cliquant sur l'onglet Graphique d'exécution.

    Graphique d'exécution des jobs.

    Figure 2. Graphique d'exécution des jobs.

Pour en savoir plus sur l'interprétation des insights, consultez la section Interpréter les insights sur les performances des requêtes.

Facturation

Les graphiques de ressources d'administration et l'explorateur de jobs sont disponibles sans frais supplémentaires. Les requêtes utilisées pour remplir ces graphiques ne sont pas facturées et n'utilisent pas d'emplacements dans les réservations appartenant à l'utilisateur. Les requêtes qui traitent un trop grand volume de données expirent.

Étapes suivantes