Notifications d'exécution du service de transfert de données BigQuery

Cette page vous offre un aperçu des notifications d'exécution du Service de transfert de données BigQuery.

Présentation

Il existe deux types de notifications d'exécution que vous pouvez configurer pour le Service de transfert de données BigQuery :

  • Les notifications Cloud Pub/Sub - notifications exploitables par un ordinateur qui sont envoyées lorsqu'une exécution de transfert réussit ou échoue
  • Les notifications par e-mail - notifications lisibles par un humain qui sont envoyées lorsqu'une exécution de transfert échoue

Vous pouvez configurer chaque type individuellement, ou utiliser à la fois les notifications d'exécution Cloud Pub/Sub et celles par e-mail.

Notifications Cloud Pub/Sub

Les notifications Cloud Pub/Sub envoient des informations sur les exécutions de transfert à un sujet Cloud Pub/Sub. Les notifications Cloud Pub/Sub sont déclenchées par des transferts exécutés dans les états suivants :

  • SUCCEEDED
  • FAILED
  • CANCELLED

Vous pouvez envoyer des notifications à n'importe quel sujet Cloud Pub/Sub dans un projet pour lequel vous disposez des autorisations suffisantes. Une fois reçu par le sujet Cloud Pub/Sub, le message peut être envoyé à n'importe quel nombre d'abonnés au sujet.

Avant de commencer

Avant de configurer les notifications d'exécution de transfert Cloud Pub/Sub, vous devez :

  1. Activer l'API Cloud Pub/Sub pour le projet qui recevra les notifications.

    Activer l'API

  2. Disposer des autorisations suffisantes sur le projet qui recevra les notifications :

    • Si vous êtes propriétaire du projet qui recevra les notifications, vous disposez probablement des autorisations nécessaires.

    • Si vous prévoyez de créer des thèmes pour recevoir des notifications, vous devez disposer des autorisations pubsub.topics.create.

    • Si vous prévoyez d'utiliser des thèmes nouveaux ou existants, vous devez disposer des autorisations pubsub.topics.setIamPolicy. Si vous créez un sujet, vous avez généralement l'autorisation pubsub.topics.setIamPolicy correspondante. Les rôles IAM prédéfinis au niveau du projet qui incluent les autorisations pubsub.topics.setIamPolicy sont les suivants :

      • Le rôle prédéfini pubsub.admin
      • Le rôle primitif Owner

      Pour en savoir plus, consultez la section portant sur le contrôle des accès de Cloud Pub/Sub.

  3. Avoir un sujet Cloud Pub/Sub existant auquel vous souhaitez envoyer des notifications.

Format des notifications

Les notifications envoyées au sujet Cloud Pub/Sub comprennent deux parties :

  • Attributs : ensemble de paires valeur/clé décrivant l'événement.
  • Charge utile : chaîne contenant les métadonnées de l'objet modifié.

Attributs

Les attributs sont des paires valeur/clé contenues dans toutes les notifications envoyées par le Service de transfert de données BigQuery à votre sujet Cloud Pub/Sub. Les notifications comportent toujours l'ensemble de paires valeur/clé suivant, quelle que soit leur charge utile.

Nom de l'attribut Exemple Description
eventType TRANSFER_RUN_FINISHED Type d'événement qui vient de se produire. TRANSFER_RUN_FINISHED est la seule valeur possible.
payloadFormat JSON_API_V1 Format de la charge utile de l'objet. JSON_API_V1 est la seule valeur possible.

Charge utile

La charge utile est une chaîne contenant les métadonnées de l'exécution du transfert. Le type de charge utile n'est pas configurable pour le moment. Il est fourni pour prendre en charge les modifications de la future version de l'API.

Type de charge utile Description
JSON_API_V1 La charge utile sera une chaîne sérialisée JSON UTF-8 contenant la représentation de la ressource d'une exécution de transfert.

Notifications par e-mail

Les notifications par e-mail envoient des e-mails lisibles par un humain lorsqu'une exécution de transfert échoue. Ces messages sont envoyés à l'utilisateur qui a configuré le transfert. Les e-mails ne sont pas configurables.

Si d'autres utilisateurs doivent recevoir des notifications d'exécution de transfert par e-mail, configurez des règles de transfert d'e-mails pour diffuser les e-mails. Si vous utilisez Gmail, vous pouvez Transférer automatiquement les messages Gmail vers un autre compte.

La notification par e-mail est envoyée par le Service de transfert de données BigQuery et contient des détails sur la configuration du transfert, l'exécution du transfert ainsi qu'un lien vers l'historique de l'exécution échouée. Exemple :

From: bigquery-data-transfer-service-noreply@google.com
To: [USER_WHO_SET_UP_TRANSFER]
Title: BigQuery Data Transfer Service - Transfer Run Failure - [DISPLAY_NAME]

Transfer Configuration
Display Name: [DISPLAY_NAME]
Source: [DATA_SOURCE]
Destination: [PROJECT_ID]

Run Summary
Run: [RUN_NAME]
Schedule Time: [SCHEDULE_TIME]
Run Time: [RUN_TIME]
View Run History

Google LLC 1600 Amphitheatre Parkway, Mountain View, CA 94043

This email was sent because you indicated you are willing to receive Run
Notifications from the BigQuery Data Transfer Service. If you do not wish to
receive such emails in the future, click View Transfer Configuration and
un-check the “Send E-mail Notifications” option.

Tarifs de la notification d'exécution

Pendant l'étape alpha, le Service de transfert de données BigQuery ne facturera pas les notifications d'exécution. Si vous configurez les notifications d'exécution Cloud Pub/Sub, vous devrez payer des frais Cloud Pub/Sub. Pour en savoir plus, consultez la page relative aux tarifs de Cloud Pub/Sub.

Étapes suivantes

Cette page vous a-t-elle été utile ? Évaluez-la :

Envoyer des commentaires concernant…

Besoin d'aide ? Consultez notre page d'assistance.