Surveiller BI Engine
BigQuery BI Engine fonctionne avec les services Google Cloud pour faciliter la surveillance et le dépannage lors de l'utilisation de BI Engine. L'accélération de Looker Studio avec BigQuery BI Engine est entièrement compatible avec la surveillance BigQuery, y compris INFORMATION_SCHEMA, le graphique d'exécution et les métriques Cloud Monitoring.
Cloud Monitoring
BigQuery BI Engine s'intègre à Cloud Monitoring pour vous permettre de surveiller l'utilisation agrégée de BI Engine et configurer des alertes. Pour en savoir plus sur l'utilisation de Monitoring pour créer des tableaux de bord pour vos métriques BI Engine, consultez la section Créer des graphiques dans la documentation de Monitoring.
Les métriques suivantes sont fournies pour BigQuery BI Engine :
Ressource | Métrique | Détails |
---|---|---|
Projet BigQuery | Nombre total d'octets de réservation | Capacité totale allouée à un projet Google Cloud |
Projet BigQuery | Nombre d'octets utilisés pour la réservation | Capacité totale utilisée dans un projet Google Cloud |
Projet BigQuery | Octets mis en cache dans les principales tables BI Engine | Utilisation du cache par table. Cette métrique affiche les N tables principales pour chaque région sur la base de l'utilisation rapportée. |
Vous pouvez utiliser Cloud Monitoring pour afficher le trafic des sources de données Looker Studio mises en cache par BI Engine. Pour obtenir la liste complète des métriques Google Cloud disponibles, consultez la page Métriques Google Cloud.
L'intégration native de BigQuery à Looker Studio ne fournit pas de métriques par modèle. Expose plutôt les ID de source de données et de rapport dans les tables INFORMATION_SCHEMA avec la surveillance de l'API BigQuery.
Statistiques des requêtes pour BI Engine
Cette section explique comment trouver des statistiques de requêtes pour vous aider à surveiller, diagnostiquer et résoudre des problèmes liés à l'utilisation de BI Engine.
Modes d'accélération BI Engine
Lorsque l'accélération de BI Engine est activée, votre requête peut s'exécuter dans l'un des quatre modes suivants :
BI_ENGINE_DISABLED |
BI Engine a désactivé l'accélération.
biEngineReasons spécifie un motif plus détaillé. La requête a été exécutée à l'aide du moteur d'exécution de BigQuery. |
PARTIAL_INPUT |
Une partie de l'entrée de la requête a été accélérée à l'aide de BI Engine. Comme décrit sur la page
Optimisation et accélération des requêtes, un plan de requête est généralement divisé en plusieurs étapes d'entrée. BI Engine accepte les types de modèles de sous-requêtes courants, qui sont généralement utilisés dans les tableaux de bord. Si la requête comprend plusieurs étapes d'entrée, dont seulement quelques-unes relèvent des cas d'utilisation acceptés, BI Engine exécute les étapes non compatibles à l'aide du moteur BigQuery normal sans accélération. Dans ce cas, BI Engine renvoie un code d'accélération PARTIAL et utilise biEngineReasons pour renseigner la raison de l'absence d'accélération des autres étapes d'entrée. |
FULL_INPUT |
Toutes les étapes d'entrée de la requête ont été accélérées à l'aide de BI Engine. |
FULL_QUERY |
L'ensemble de la requête a été accéléré à l'aide de BI Engine. |
Afficher les statistiques des jobs de l'API BigQuery
Des statistiques détaillées sur BI Engine sont disponibles via l'API BigQuery.
Pour récupérer les statistiques associées aux requêtes accélérées BI Engine, exécutez la commande suivante de l'outil de ligne de commande bq :
bq show --format=prettyjson -j job_id
Si l'accélération BI Engine est activée pour le projet, la sortie génère un nouveau champ, biEngineStatistics
. Voici un exemple de rapport de tâche :
"statistics": {
"creationTime": "1602175128902",
"endTime": "1602175130700",
"query": {
"biEngineStatistics": {
"biEngineMode": "DISABLED",
"biEngineReasons": [
{
"code": "UNSUPPORTED_SQL_TEXT",
"message": "Detected unsupported join type"
}
]
},
Pour en savoir plus sur le champ BiEngineStatistics
, consultez la documentation de référence relative aux tâches.
Statistiques BigQuery INFORMATION_SCHEMA
Les statistiques d'accélération BI Engine sont incluses dans les vues BigQuery INFORMATION_SCHEMA
dans le cadre des vues INFORMATION_SCHEMA.JOBS_BY_*
dans la colonne bi_engine_statistics
.
Par exemple, cette requête renvoie les bi_engine_statistics
pour tous les jobs des projets en cours durant les dernières 24 heures :
SELECT
creation_time,
job_id,
bi_engine_statistics
FROM
`region-us`.INFORMATION_SCHEMA.JOBS_BY_PROJECT
WHERE
creation_time BETWEEN TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 1 DAY)
AND CURRENT_TIMESTAMP()
AND job_type = "QUERY"
Utilisez le format suivant afin de spécifier la régionalité pour project-id
, region
et views
dans la vue INFORMATION_SCHEMA
:
`PROJECT_ID`.`region-REGION_NAME`.INFORMATION_SCHEMA.VIEW
Afficher les détails du schéma d'informations de Looker Studio
Vous pouvez suivre les sources de données et les rapports Looker Studio utilisés par BigQuery en affichant la vue INFORMATION_SCHEMA.JOBS
.
Lorsque BigQuery est intégré de manière native, chaque requête Looker Studio crée une entrée avec les étiquettes report_id
et datasource_id
. Ces ID apparaissent à la fin de l'URL Looker Studio lorsque vous ouvrez une page de rapport ou de source de données.
Par exemple, le rapport avec l'URL https://lookerstudio.google.com/navigation/reporting/my-report-id-123
est associé à l'ID "my-report-id-123"
.
Les exemples suivants montrent comment afficher des rapports et des sources de données :
Rechercher l'URL du rapport et de la source de données pour chaque job BigQuery Looker Studio
-- Standard labels used by Looker Studio. DECLARE requestor_key STRING DEFAULT 'requestor'; DECLARE requestor_value STRING DEFAULT 'looker_studio'; CREATE TEMP FUNCTION GetLabel(labels ANY TYPE, label_key STRING) AS ( (SELECT l.value FROM UNNEST(labels) l WHERE l.key = label_key) ); CREATE TEMP FUNCTION GetDatasourceUrl(labels ANY TYPE) AS ( CONCAT("https://lookerstudio.google.com/datasources/", GetLabel(labels, 'looker_studio_datasource_id')) ); CREATE TEMP FUNCTION GetReportUrl(labels ANY TYPE) AS ( CONCAT("https://lookerstudio.google.com/reporting/", GetLabel(labels, 'looker_studio_report_id')) ); SELECT job_id, GetDatasourceUrl(labels) AS datasource_url, GetReportUrl(labels) AS report_url, FROM `region-us`.INFORMATION_SCHEMA.JOBS jobs WHERE creation_time > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 7 DAY) AND GetLabel(labels, requestor_key) = requestor_value LIMIT 100;
Afficher les jobs générés à l'aide d'un rapport et d'une source de données
-- Specify report and data source id, which can be found in the end of Looker Studio URLs. DECLARE user_report_id STRING DEFAULT '*report id here*'; DECLARE user_datasource_id STRING DEFAULT '*datasource id here*'; -- Standard labels Looker Studio uses in native integration. DECLARE requestor_key STRING DEFAULT 'requestor'; DECLARE requestor_value STRING DEFAULT 'looker_studio'; DECLARE datasource_key STRING DEFAULT 'looker_studio_datasource_id'; DECLARE report_key STRING DEFAULT 'looker_studio_report_id'; CREATE TEMP FUNCTION GetLabel(labels ANY TYPE, label_key STRING) AS ( (SELECT l.value FROM UNNEST(labels) l WHERE l.key = label_key) ); SELECT creation_time, job_id, FROM `region-us`.INFORMATION_SCHEMA.JOBS jobs WHERE creation_time > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 7 DAY) AND GetLabel(labels, requestor_key) = requestor_value AND GetLabel(labels, datasource_key) = user_datasource_id AND GetLabel(labels, report_key) = user_report_id ORDER BY 1 LIMIT 100;
Cloud Logging
Vous pouvez consulter les informations de journal de BI Engine en les affichant sur la page Cloud Logging de la console Google Cloud. La façon dont vous affichez les informations de journal pour BI Engine dépend de l'outil qui interroge les données :
- Pour les requêtes Looker Studio sans intégration native de Looker Studio : vous pouvez afficher les informations de journal sur la page Cloud Logging en indiquant
protoPayload.serviceName="bigquerybiengine.googleapis.com"
comme charge utile. - Pour le reste du trafic, vous pouvez afficher les informations de journal sur la page Cloud Logging avec une charge utile
protoPayload.serviceName="bigquery.googleapis.com"
.
Étapes suivantes
- Obtenez davantage d'informations sur Cloud Monitoring.
- Apprenez-en davantage sur les graphiques Monitoring.
- Informez-vous sur les alertes Monitoring.
- Apprenez-en plus sur Cloud Logging.