Notifications d'exécution du service de transfert de données BigQuery

Cette page vous offre un aperçu des notifications d'exécution du Service de transfert de données BigQuery.

Présentation

Il existe deux types de notifications d'exécution que vous pouvez configurer pour le Service de transfert de données BigQuery :

  • Les notifications Pub/Sub : notifications exploitables par un ordinateur qui sont envoyées lorsqu'une exécution de transfert réussit ou échoue.
  • Les notifications par e-mail : notifications lisibles par un humain qui sont envoyées lorsqu'une exécution de transfert échoue.

Vous pouvez configurer chaque type individuellement, ou utiliser à la fois les notifications d'exécution Pub/Sub et celles par e-mail.

Notifications Pub/Sub

Les notifications Pub/Sub envoient des informations sur les exécutions de transfert à un sujet Pub/Sub. Les notifications Pub/Sub sont déclenchées par des transferts terminés dans les états suivants :

  • SUCCEEDED
  • FAILED
  • CANCELLED

Vous pouvez envoyer des notifications à n'importe quel sujet Pub/Sub dans un projet pour lequel vous disposez des autorisations suffisantes. Une fois reçu par le sujet Pub/Sub, le message peut être envoyé à n'importe quel nombre d'abonnés au sujet.

Avant de commencer

Avant de configurer les notifications d'exécution de transfert Pub/Sub, vous devez :

  1. Activer l'API Pub/Sub pour le projet qui recevra les notifications.

    Activer l'API

  2. Disposer des autorisations suffisantes sur le projet qui recevra les notifications :

    • Si vous êtes propriétaire du projet qui recevra les notifications, vous disposez probablement des autorisations nécessaires.

    • Si vous prévoyez de créer des sujets pour recevoir des notifications, vous devez disposer des autorisations pubsub.topics.create.

    • Si vous prévoyez d'utiliser des sujets nouveaux ou existants, vous devez disposer des autorisations pubsub.topics.setIamPolicy. Si vous créez un sujet, vous disposez généralement de l'autorisation pubsub.topics.setIamPolicy sur celui-ci. Le rôle Cloud IAM prédéfini suivant inclut les autorisations pubsub.topics.setIamPolicy : pubsub.admin. Consultez la page Contrôle des accès Pub/Sub pour plus d'informations.

  3. Disposer d'un sujet Pub/Sub existant auquel vous souhaitez envoyer des notifications.

Format des notifications

Les notifications envoyées au sujet Pub/Sub comprennent deux parties :

  • Attributs : ensemble de paires valeur/clé décrivant l'événement
  • Charge utile : chaîne contenant les métadonnées de l'objet modifié.

Attributs

Les attributs sont des paires valeur/clé présentes dans toutes les notifications que le service de transfert de données BigQuery envoie à votre sujet Pub/Sub. Les notifications comportent toujours l'ensemble de paires valeur/clé suivant, quelle que soit leur charge utile.

Nom de l'attribut Exemple Description
eventType TRANSFER_RUN_FINISHED Type d'événement qui vient de se produire. TRANSFER_RUN_FINISHED est la seule valeur possible.
payloadFormat JSON_API_V1 Format de la charge utile de l'objet. JSON_API_V1 est la seule valeur possible.

Charge utile

La charge utile est une chaîne contenant les métadonnées de l'exécution du transfert. Le type de charge utile n'est pas configurable pour le moment. Il est fourni pour prendre en charge les modifications de la future version de l'API.

Type de charge utile Description
JSON_API_V1 La charge utile sera une chaîne sérialisée JSON UTF-8 contenant la représentation de ressource d'un TransferRun.

Notifications par e-mail

Les notifications par e-mail envoient des e-mails lisibles par un humain lorsqu'une exécution de transfert échoue. Ces messages sont envoyés à l'utilisateur qui a configuré le transfert. Les e-mails ne sont pas configurables.

Si d'autres utilisateurs doivent recevoir des notifications d'exécution de transfert par e-mail, configurez des règles de transfert d'e-mails pour diffuser les e-mails. Si vous utilisez Gmail, vous pouvez transférer automatiquement les messages Gmail vers un autre compte.

La notification par e-mail est envoyée par le Service de transfert de données BigQuery et contient des détails sur la configuration du transfert, l'exécution du transfert ainsi qu'un lien vers l'historique de l'exécution ayant échoué. Exemple :

From: bigquery-data-transfer-service-noreply@google.com
To: user_who_set_up_transfer
Title: BigQuery Data Transfer Service — Transfer Run Failure —
display_name

Transfer Configuration
Display Name: display_name
Source: data_source
Destination: project_id

Run Summary
Run: run_name
Schedule Time: schedule_time
Run Time: run_time
View Run History

Google LLC 1600 Amphitheatre Parkway, Mountain View, CA 94043

This email was sent because you indicated you are willing to receive Run
Notifications from the BigQuery Data Transfer Service. If you do not wish to
receive such emails in the future, click View Transfer Configuration and
un-check the "Send E-mail Notifications" option.

Activation des notifications

Vous pouvez activer les notifications en :

  • Dans la section Options de notification de la console du service de transfert de données BigQuery :
    1. Cliquez sur le bouton pour activer les notifications par e-mail. Lorsque vous activez cette option, l'administrateur de transfert reçoit une notification par e-mail en cas d'échec de l'exécution du transfert.
    2. Pour le champ Select a Pub/Sub topic (Sélectionner un sujet Pub/Sub), choisissez le nom de votre sujet ou cliquez sur Create a topic (Créer un sujet). Cette option configure les notifications d'exécution Cloud Pub/Sub pour votre transfert.

Tarifs de la notification d'exécution

Si vous configurez les notifications d'exécution Pub/Sub, vous devrez payer des frais Pub/Sub. Pour plus d'informations, consultez la page des Tarifs Pub/Sub.

Étapes suivantes