BigQuery Data Transfer Service 运行通知

本页面简要介绍了 BigQuery Data Transfer Service 的运行通知。

概览

您可以为 BigQuery Data Transfer Service 配置两种类型的运行通知:

  • Cloud Pub/Sub 通知 - 传输运行成功或失败时发送的机器可读通知
  • 电子邮件通知 - 传输运行失败时发送的用户可读通知

您可以单独配置每种类型,也可以同时使用 Cloud Pub/Sub 和电子邮件运行通知。

Cloud Pub/Sub 通知

Cloud Pub/Sub 通知功能会将传输运行的相关信息发送到 Cloud Pub/Sub 主题。当已完成的传输运行处于以下状态时,系统将触发 Cloud Pub/Sub 通知:

  • SUCCEEDED
  • FAILED
  • CANCELLED

您可以向您具有足够权限的任何项目中的任何 Cloud Pub/Sub 主题发送通知。Cloud Pub/Sub 主题收到通知生成的消息后,系统可以将这些消息发送给该主题的任意数量的订阅者。

准备工作

在配置 Cloud Pub/Sub 传输运行通知之前,您应该完成以下准备工作:

  1. 为将接收通知的项目启用 Cloud Pub/Sub API。

    启用 API

  2. 对接收通知的项目拥有足够的权限:

    • 如果您拥有接收通知的项目,则您很可能具备所需的权限。

    • 如果您打算创建主题来接收通知,应具备 pubsub.topics.create 权限。

    • 无论您是打算使用新主题还是现有主题,都应具备 pubsub.topics.setIamPolicy 权限。如果您创建了一个主题,则通常具备该主题的 pubsub.topics.setIamPolicy 权限。以下预定义的项目级层 IAM 角色拥有 pubsub.topics.setIamPolicy 权限:

      • pubsub.admin 预定义角色
      • Owner 初始角色

      如需了解详情,请参阅 Cloud Pub/Sub 访问控制

  3. 存在要向其发送通知的 Cloud Pub/Sub 主题

通知格式

发送到 Cloud Pub/Sub 主题的通知由以下两部分组成:

  • 属性:描述事件的一组键值对。
  • 负载:包含已更改对象的元数据的字符串。

属性

属性是指 BigQuery Data Transfer Service 发送到 Cloud Pub/Sub 主题的所有通知中包含的键值对。无论通知的负载如何,通知始终包含下列键值对:

属性名称 示例 说明
eventType TRANSFER_RUN_FINISHED 刚刚发生的事件的类型。TRANSFER_RUN_FINISHED 是唯一的可能值。
payloadFormat JSON_API_V1 对象负载的格式。JSON_API_V1 是唯一的可能值。

负载

负载是一个字符串,其中包含传输运行的元数据。目前无法配置负载类型,提供此类型的目的在于适应未来的 API 版本变更。

负载类型 说明
JSON_API_V1 负载将是一个采用 UTF-8 编码的 JSON 序列化字符串,其中包含 TransferRun 的资源表示法

电子邮件通知

传输运行失败时,电子邮件通知功能会发送用户可读的电子邮件。这些邮件将发送给设置了相应传输的用户,且可配置。

如果传输运行电子邮件通知应发送给其他用户,请设置电子邮件转发规则以分发邮件。如果您使用的是 Gmail,则可以自动将 Gmail 邮件转发到另一个帐号

电子邮件通知由 BigQuery Data Transfer Service 发送,其中包含有关传输配置、传输运行以及与失败运行相关的运行历史记录链接的详细信息。例如:

From: bigquery-data-transfer-service-noreply@google.com
To: [USER_WHO_SET_UP_TRANSFER]
Title: BigQuery Data Transfer Service - Transfer Run Failure - [DISPLAY_NAME]

Transfer Configuration
Display Name: [DISPLAY_NAME]
Source: [DATA_SOURCE]
Destination: [PROJECT_ID]

Run Summary
Run: [RUN_NAME]
Schedule Time: [SCHEDULE_TIME]
Run Time: [RUN_TIME]
View Run History

Google LLC 1600 Amphitheatre Parkway, Mountain View, CA 94043

This email was sent because you indicated you are willing to receive Run
Notifications from the BigQuery Data Transfer Service. If you do not wish to
receive such emails in the future, click View Transfer Configuration and
un-check the “Send E-mail Notifications” option.

运行通知价格

在 Alpha 版阶段,BigQuery Data Transfer Service 不会对运行通知收费。如果您配置了 Cloud Pub/Sub 运行通知,则需要支付 Cloud Pub/Sub 费用。如需了解详情,请参阅 Cloud Pub / Sub 价格页面。

后续步骤

此页内容是否有用?请给出您的反馈和评价:

发送以下问题的反馈:

此网页
需要帮助?请访问我们的支持页面