Surveiller et afficher les journaux du service de transfert de données BigQuery

La surveillance et la journalisation du service de transfert de données BigQuery fournissent des informations sur les performances et l'état de la charge de travail du service. Le service de transfert de données BigQuery exporte les données de surveillance vers Cloud Monitoring.

Surveiller le service de transfert de données BigQuery

Vous pouvez utiliser les métriques de surveillance aux fins suivantes :

Évaluer l'utilisation et les performances d'une configuration de transfert de données.
Résoudre les problèmes
Surveiller les états d'exécution des transferts.

Pour créer des tableaux de bord personnalisés, configurer des alertes et interroger des métriques à l'aide de Monitoring, vous pouvez utiliser la console Google Cloud ou l'API Monitoring.

Afficher les données de transfert dans l'Explorateur de métriques

Dans Google Cloud Console, accédez à la page Monitoring.

Accéder à Monitoring
Dans le volet de navigation, cliquez sur Explorateur de métriques.
Sélectionnez votre projet.
Dans la zone Find resource type and metric (Rechercher un type de ressource et une métrique), saisissez les informations suivantes :
- Pour Type de ressource, saisissez BigQuery DTS Config.
- Pour le champ Métrique, sélectionnez l'une des métriques répertoriées dans la section Métriques de surveillance pour les configurations de transfert, par exemple, Completed run count.
Facultatif : sélectionnez l'aligneur, le réducteur, ainsi que d'autres paramètres.
Les métriques s'affichent dans la fenêtre Explorateur de métriques.

Définir des alertes Cloud Monitoring

Vous pouvez définir des alertes Monitoring pour les métriques du service de transfert de données BigQuery :

Dans Google Cloud Console, accédez à la page Monitoring.

Accéder à Monitoring
Dans le volet de navigation, sélectionnez Alertes > Créer une règle.

Pour plus d'informations sur les règles d'alerte et les concepts qui les régissent, consultez la section Types de règles d'alerte.
Cliquez sur Ajouter une condition et sélectionnez le type de condition.
Sélectionnez des métriques et des filtres. Pour les métriques, le type de ressource est Config DTS BigQuery.
Cliquez sur Enregistrer la condition.
Saisissez le nom de la règle, puis cliquez sur Enregistrer la règle.

Pour en savoir plus sur les règles et les concepts d'alerte, consultez la page Présentation des alertes.

Définir des tableaux de bord personnalisés Cloud Monitoring

Vous pouvez créer des tableaux de bord personnalisés à partir des métriques du service de transfert de données BigQuery :

Dans Google Cloud Console, accédez à la page Monitoring.

Accéder à Monitoring
Dans le volet de navigation, sélectionnez Tableaux de bord > Créer un tableau de bord.
Cliquez sur Add Chart (Ajouter un graphique).
Indiquez un titre pour le graphique.
Sélectionnez des métriques et des filtres. Pour les métriques, le type de ressource est Config DTS BigQuery.
Cliquez sur Enregistrer.

Pour en savoir plus, consultez la page Gérer les tableaux de bord personnalisés.

Fréquence et conservation des rapports sur les métriques

Les métriques des exécutions du service de transfert de données BigQuery sont exportées vers Monitoring par lots, à des intervalles d'une minute. Les données de surveillance sont conservées pendant six semaines.

Le tableau de bord fournit une analyse des données à des intervalles par défaut de 1h (une heure), 6H (six heures), 1D (un jour), 1W (une semaine) et 6W (six semaines). Vous pouvez demander manuellement une analyse à un intervalle compris entre 1M (une minute) et 6W (six semaines).

Surveiller les métriques pour les configurations de transfert

Les métriques suivantes pour les configurations du service de transfert de données BigQuery sont exportées vers Monitoring :

Métrique	Description
Distribution de la latence d'exécution	Répartition du temps d'exécution (en secondes) de chaque exécution de transfert, par configuration de transfert.
Nombre d'exécutions actives	Nombre d'exécutions de transfert en cours d'exécution ou en attente, par configuration de transfert.
Nombre d'exécutions terminées	Nombre d'exécutions de transferts terminées pendant une période donnée, par configuration de transfert.

Filtrer les dimensions pour les métriques

Les métriques sont agrégées pour chaque configuration du service de transfert de données BigQuery. Vous pouvez filtrer les métriques agrégées selon les dimensions suivantes :

Propriété	Description
`TRANSFER_STATE`	Représente l'état de transfert actuel de l'exécution de transfert. Cette dimension peut contenir l'une des valeurs suivantes : `unspecified` `pending` `running` `succeeded` `failed` `cancelled`
`ERROR_CODE`	Représente le code d'erreur final de l'exécution de transfert. Cette dimension peut contenir l'une des valeurs suivantes : `OK` `CANCELLED` `UNKNOWN` `INVALID_ARGUMENT` `DEADLINE_EXCEEDED` `NOT_FOUND` `ALREADY_EXISTS` `PERMISSION_DENIED` `UNAUTHENTICATED` `RESOURCE_EXHAUSTED` `FAILED_PRECONDITION` `ABORTED` `OUT_OF_RANGE` `UNIMPLEMENTED` `INTERNAL` `UNAVAILABLE` `DATA_LOSS`
`RUN_CAUSE`	Représente le déclenchement d'une exécution de transfert. Cette dimension peut contenir l'une des valeurs suivantes : `USER_REQUESTED` `AUTO_SCHEDULE`

Journaux du service de transfert de données BigQuery

Chaque exécution du service de transfert de données BigQuery est journalisée à l'aide de Cloud Logging. La journalisation est automatiquement activée pour tous les transferts de données.

Rôles requis

Le rôle Lecteur de journaux (roles/logging.viewer) vous donne un accès en lecture seule à toutes les fonctionnalités de Logging. Pour en savoir plus sur les autorisations et les rôles Identity and Access Management (IAM) qui s'appliquent aux données Logging, consultez le guide du contrôle des accès de Logging.

Afficher les journaux

Pour afficher les journaux, accédez à la page Explorateur de journaux.

Accéder à l'explorateur de journaux

Les journaux du service de transfert de données BigQuery sont d'abord indexés par la configuration de transfert, puis par l'exécution de transfert individuel.

Afficher les journaux des exécutions de transfert

Pour n'afficher que les entrées de journal d'un run_id de transfert donné, ajoutez les filtres suivants dans le générateur de requêtes :

resource.type="bigquery_dts_config"
labels.run_id="transfer_run_id"

Afficher les journaux d'exécution.

Afficher les journaux des configurations de transfert

Pour afficher les entrées de journal d'un config_id de transfert donné, dans le générateur de requêtes, ajoutez les filtres suivants :

resource.type="bigquery_dts_config"
labels.run_id="transfer_config_id"

Afficher les journaux de configuration.

Afficher tous les journaux

Pour afficher tous les journaux du service de transfert de données BigQuery, effectuez l'une des opérations suivantes :

Dans la section Champs de journal, sélectionnez Configuration du service de transfert de données BigQuery pour Type de ressource.
Dans le générateur de requêtes, ajoutez les éléments suivants :
```
resource.type="bigquery_dts_config"
```

Pour en savoir plus sur l'utilisation de l'explorateur de journaux, consultez la page Utiliser l'explorateur de journaux.

Format du journal

Le service de transfert de données BigQuery enregistre les messages au format suivant :

{
  "insertId": "0000000000",
  "jsonPayload": {
    "message": "DTS transfer run message."
  },
  "resource": {
    "type": "bigquery_dts_config",
    "labels": {
      "project_id": "my_project_id",
      "config_id": "transfer_config_id",
      "location": "us"
    }
  },
  "timestamp": "2020-11-25T04:45:48.545732221Z",
  "severity": "INFO",
  "labels": {
    "run_id": "transfer_run_id"
  },
  "logName": "projects/your_project_id/logs/bigquerydatatransfer.googleapis.com%2Ftransfer_config",
  "receiveTimestamp": "2020-11-25T04:45:48.960214929Z"
}

Contenu consigné

Les entrées des journaux du service de transfert de données BigQuery contiennent des informations utiles pour surveiller et déboguer les exécutions de transferts. Il s'agit des types d'informations suivants :

timestamp : il permet de calculer l'âge de l'entrée de journal et d'appliquer sa durée de conservation.
severity : il peut s'agir de INFO, WARNING ou ERROR.
message_text : contient une chaîne qui décrit l'état actuel de l'exécution de transfert.

Étapes suivantes

En savoir plus sur Monitoring.
Consultez une présentation des journaux d'audit Cloud et de Cloud Logging.