Surveiller BI Engine

BigQuery BI Engine fonctionne avec les services Google Cloud pour faciliter la surveillance et le dépannage lors de l'utilisation de BI Engine.

Cloud Monitoring

BigQuery BI Engine s'intègre à Cloud Monitoring pour vous permettre de surveiller l'utilisation agrégée de BI Engine et configurer des alertes. Pour en savoir plus sur l'utilisation de Monitoring pour créer des tableaux de bord pour vos métriques BI Engine, consultez la section Créer des graphiques dans la documentation de Monitoring.

Les métriques suivantes sont fournies pour BigQuery BI Engine :

Ressource Métrique Détails
Projet BigQuery Nombre total d'octets de réservation Capacité totale allouée à un projet Google Cloud
Projet BigQuery Nombre d'octets utilisés pour la réservation Capacité totale utilisée dans un projet Google Cloud
Projet BigQuery Octets mis en cache dans les principales tables BI Engine Utilisation du cache par table. Cette métrique affiche les N tables principales pour chaque région sur la base de l'utilisation rapportée.

Les métriques suivantes sont également fournies par BI Engine dans Looker Studio.

Ressource Métrique Détails
Modèle BI Engine BigQuery Requêtes en cours Nombre de requêtes simultanées envoyées à un modèle (maximum au cours de la période d'échantillonnage)
Modèle BI Engine BigQuery Nombre de requêtes Nombre total de requêtes envoyées à un modèle
Modèle BI Engine BigQuery Délais d'exécution des requêtes Latence médiane d'exécution des requêtes

Vous pouvez utiliser Cloud Monitoring pour afficher le trafic des sources de données Looker Studio mises en cache par BI Engine. Lorsque vous affichez des métriques pour BI Engine dans un widget Cloud Monitoring, l'ID de modèle est affiché en tant que dimension de la métrique. Pour trouver l'ID de modèle de votre modèle BI Engine BigQuery, ouvrez le modèle Looker Studio dans un navigateur Web. L'ID de modèle correspond à la partie de l'URL située après datasources/. Exemple : https://lookerstudio.google.com/c/u/0/datasources/<model_id>.

Pour obtenir la liste complète des métriques Google Cloud disponibles, consultez la page Métriques Google Cloud.

L'intégration native de BigQuery à Studio ne fournit pas de métriques par modèle. Expose plutôt les ID de source de données et de rapport dans les tables INFORMATION_SCHEMA avec la surveillance de l'API BigQuery.

Statistiques des requêtes pour BI Engine

Cette section explique comment trouver des statistiques de requêtes pour vous aider à surveiller, diagnostiquer et dépanner l'utilisation de BI Engine.

Modes d'accélération BI Engine

Lorsque l'accélération de BI Engine est activée, votre requête peut s'exécuter dans l'un des quatre modes suivants :


BI_ENGINE_DISABLED
 BI Engine a désactivé l'accélération. biEngineReasons spécifie un motif plus détaillé. La requête a été exécutée à l'aide du moteur d'exécution de BigQuery. 

PARTIAL_INPUT
 Une partie de l'entrée de la requête a été accélérée à l'aide de BI Engine. Comme décrit sur la page Optimisation et accélération des requêtes, un plan de requête est généralement divisé en plusieurs étapes d'entrée. BI Engine accepte les types de modèles de sous-requêtes courants, qui sont généralement utilisés dans les tableaux de bord. Si la requête comprend plusieurs étapes d'entrée, dont seulement quelques-unes relèvent des cas d'utilisation acceptés, BI Engine exécute les phases non compatibles à l'aide du moteur BigQuery normal sans accélération. Dans ce cas, BI Engine renvoie un code d'accélération PARTIAL et utilise biEngineReasons pour renseigner la raison de l'absence d'accélération des autres étapes d'entrée. 

 FULL_INPUT
Toutes les étapes d'entrée de la requête ont été accélérées à l'aide de BI Engine. 

 FULL_QUERY
L'ensemble de la requête a été accéléré à l'aide de BI Engine.

Statistiques des jobs de l'API BigQuery

Des statistiques détaillées sur BI Engine sont disponibles via l'API BigQuery.

Pour récupérer les statistiques associées aux requêtes accélérées BI Engine, exécutez la commande suivante de l'outil de ligne de commande bq :

bq show --format=prettyjson -j job_id

Si l'accélération BI Engine est activée pour le projet, la sortie génère un nouveau champ, biEngineStatistics. Voici un exemple de rapport de tâche :

 "statistics": {
    "creationTime": "1602175128902",
    "endTime": "1602175130700",
    "query": {
      "biEngineStatistics": {
        "biEngineMode": "DISABLED",
        "biEngineReasons": [
          {
            "code": "UNSUPPORTED_SQL_TEXT",
            "message": "Detected unsupported join type"
          }
        ]
      },

Pour en savoir plus sur le champ BiEngineStatistics, consultez la documentation de référence relative aux tâches.

Statistiques BigQuery INFORMATION_SCHEMA

Les statistiques d'accélération BI Engine sont incluses dans les vues BigQuery INFORMATION_SCHEMA dans le cadre des vues INFORMATION_SCHEMA.JOBS_BY_* dans la colonne bi_engine_statistics. Par exemple, cette requête renvoie les bi_engine_statistics pour tous les jobs des projets en cours durant les dernières 24 heures :

SELECT
  creation_time,
  job_id,
  bi_engine_statistics
FROM
  `region-us`.INFORMATION_SCHEMA.JOBS_BY_PROJECT
WHERE
  creation_time BETWEEN TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 1 DAY)
  AND CURRENT_TIMESTAMP()
  AND job_type = "QUERY"

Utilisez le format suivant afin de spécifier la régionalité pour project-id, region et views dans la vue INFORMATION_SCHEMA : 

`PROJECT_ID`.`region-REGION_NAME`.INFORMATION_SCHEMA.VIEW

Cloud Logging

Vous pouvez consulter les informations de journal de BI Engine en les affichant sur la page Cloud Logging de la console Google Cloud. La façon dont vous affichez les informations de journal pour BI Engine dépend de l'outil qui interroge les données :

  • Pour les requêtes Looker Studio sans intégration native de Looker Studio : vous pouvez afficher les informations de journal sur la page Cloud Logging en indiquant protoPayload.serviceName="bigquerybiengine.googleapis.com" comme charge utile.
  • Pour le reste du trafic, vous pouvez afficher les informations de journal sur la page Cloud Logging avec une charge utile protoPayload.serviceName="bigquery.googleapis.com".

Étapes suivantes