Surveiller et afficher les journaux pour le service de transfert de données BigQuery
La surveillance et la journalisation du service de transfert de données BigQuery fournissent des informations sur les performances et l'état de la charge de travail du service. Le service de transfert de données BigQuery exporte les données de surveillance vers Cloud Monitoring.
Surveiller le service de transfert de données BigQuery
Vous pouvez utiliser les métriques de surveillance aux fins suivantes :
- Évaluer l'utilisation et les performances d'une configuration de transfert de données.
- Résoudre les problèmes
- Surveiller les états d'exécution des transferts.
Pour créer des tableaux de bord personnalisés, configurer des alertes et interroger des métriques à l'aide de Monitoring, vous pouvez utiliser la console Google Cloud ou l'API Monitoring.
Afficher les données de transfert dans l'Explorateur de métriques
Dans Google Cloud Console, accédez à la page Monitoring.
Dans le volet de navigation, cliquez sur Explorateur de métriques.
Sélectionnez votre projet.
Dans la zone Find resource type and metric (Rechercher un type de ressource et une métrique), saisissez les informations suivantes :
- Pour Type de ressource, saisissez
BigQuery DTS Config. Pour le champ Métrique, sélectionnez l'une des métriques répertoriées dans la section Métriques de surveillance pour les configurations de transfert, par exemple,
Completed run count.
- Pour Type de ressource, saisissez
Facultatif : sélectionnez l'aligneur, le réducteur, ainsi que d'autres paramètres.
Les métriques s'affichent dans la fenêtre Explorateur de métriques.
Définir des alertes Cloud Monitoring
Vous pouvez définir des alertes Monitoring pour les métriques du service de transfert de données BigQuery :
Dans Google Cloud Console, accédez à la page Monitoring.
Dans le volet de navigation, sélectionnez Alertes > Créer une règle.
Pour plus d'informations sur les règles d'alerte et les concepts qui les régissent, consultez la section Types de règles d'alerte.
Cliquez sur Ajouter une condition et sélectionnez le type de condition.
Sélectionnez des métriques et des filtres. Pour les métriques, le type de ressource est Config DTS BigQuery.
Cliquez sur Enregistrer la condition.
Saisissez le nom de la règle, puis cliquez sur Enregistrer la règle.
Pour en savoir plus sur les règles et les concepts d'alerte, consultez la page Présentation des alertes.
Définir des tableaux de bord personnalisés Cloud Monitoring
Vous pouvez créer des tableaux de bord personnalisés à partir des métriques du service de transfert de données BigQuery :
Dans Google Cloud Console, accédez à la page Monitoring.
Dans le volet de navigation, sélectionnez Tableaux de bord > Créer un tableau de bord.
Cliquez sur Ajouter un graphique.
Indiquez un titre pour le graphique.
Sélectionnez des métriques et des filtres. Pour les métriques, le type de ressource est Config DTS BigQuery.
Cliquez sur Enregistrer.
Pour en savoir plus, consultez la page Gérer les tableaux de bord personnalisés.
Fréquence et conservation des rapports sur les métriques
Les métriques des exécutions du service de transfert de données BigQuery sont exportées vers Monitoring par lots, à des intervalles d'une minute. Les données de surveillance sont conservées pendant six semaines.
Le tableau de bord fournit une analyse des données à des intervalles par défaut de 1h (une heure), 6H (six heures), 1D (un jour), 1W (une semaine) et 6W (six semaines). Vous pouvez demander manuellement une analyse à un intervalle compris entre 1M (une minute) et 6W (six semaines).
Surveiller les métriques pour les configurations de transfert
Les métriques suivantes pour les configurations du service de transfert de données BigQuery sont exportées vers Monitoring :
| Métrique | Description |
|---|---|
| Distribution de la latence d'exécution | Répartition du temps d'exécution (en secondes) de chaque exécution de transfert, par configuration de transfert. |
| Nombre d'exécutions actives | Nombre d'exécutions de transfert en cours d'exécution ou en attente, par configuration de transfert. |
| Nombre d'exécutions terminées | Nombre d'exécutions de transferts terminées pendant une période donnée, par configuration de transfert. |
Filtrer les dimensions pour les métriques
Les métriques sont agrégées pour chaque configuration du service de transfert de données BigQuery. Vous pouvez filtrer les métriques agrégées selon les dimensions suivantes :
| Propriété | Description |
|---|---|
TRANSFER_STATE |
Représente l'état de transfert actuel de l'exécution de transfert. Cette dimension peut contenir l'une des valeurs suivantes :
|
ERROR_CODE |
Représente le code d'erreur final de l'exécution de transfert. Cette dimension peut contenir l'une des valeurs suivantes :
|
RUN_CAUSE |
Représente le déclenchement d'une exécution de transfert. Cette dimension peut contenir l'une des valeurs suivantes :
|
Journaux du service de transfert de données BigQuery
Chaque exécution du service de transfert de données BigQuery est journalisée à l'aide de Cloud Logging. La journalisation est automatiquement activée pour tous les transferts de données.
Rôles requis
Le rôle Lecteur de journaux (roles/logging.viewer) vous donne un accès en lecture seule à toutes les fonctionnalités de Logging. Pour en savoir plus sur les autorisations et les rôles Identity and Access Management (IAM) qui s'appliquent aux données Logging, consultez le guide du contrôle des accès de Logging.
Afficher les journaux
Pour afficher les journaux, accédez à la page Explorateur de journaux.
Accéder à l'explorateur de journaux
Les journaux du service de transfert de données BigQuery sont d'abord indexés par la configuration de transfert, puis par l'exécution de transfert individuel.
Afficher les journaux des exécutions de transfert
Pour n'afficher que les entrées de journal d'un run_id de transfert donné, ajoutez les filtres suivants
dans le générateur de requêtes :
resource.type="bigquery_dts_config" labels.run_id="transfer_run_id"
Afficher les journaux des configurations de transfert
Pour afficher les entrées de journal d'un config_id de transfert donné, dans le générateur de requêtes,
ajoutez les filtres suivants :
resource.type="bigquery_dts_config" labels.run_id="transfer_config_id"
Afficher tous les journaux
Pour afficher tous les journaux du service de transfert de données BigQuery, effectuez l'une des opérations suivantes :
Dans la section Champs de journal, pour Type de ressource, sélectionnez Configuration du service de transfert de données BigQuery.
Dans le générateur de requêtes, ajoutez les éléments suivants :
resource.type="bigquery_dts_config"
Pour en savoir plus sur l'utilisation de l'explorateur de journaux, consultez la page Utiliser l'explorateur de journaux.
Format du journal
Le service de transfert de données BigQuery enregistre les messages au format suivant :
{
"insertId": "0000000000",
"jsonPayload": {
"message": "DTS transfer run message."
},
"resource": {
"type": "bigquery_dts_config",
"labels": {
"project_id": "my_project_id",
"config_id": "transfer_config_id",
"location": "us"
}
},
"timestamp": "2020-11-25T04:45:48.545732221Z",
"severity": "INFO",
"labels": {
"run_id": "transfer_run_id"
},
"logName": "projects/your_project_id/logs/bigquerydatatransfer.googleapis.com%2Ftransfer_config",
"receiveTimestamp": "2020-11-25T04:45:48.960214929Z"
}
Contenu consigné
Les entrées des journaux du service de transfert de données BigQuery contiennent des informations utiles pour surveiller et déboguer les exécutions de transferts. Il s'agit des types d'informations suivants :
timestamp: il permet de calculer l'âge de l'entrée de journal et d'appliquer sa durée de conservation.severity: il peut s'agir deINFO, WARNINGouERROR.message_text: contient une chaîne qui décrit l'état actuel de l'exécution de transfert.
Étapes suivantes
- En savoir plus sur Monitoring.
- Consultez une présentation des journaux d'audit Cloud et de Cloud Logging.