BigQuery Data Transfer Service 运行通知

本页面简要介绍了 BigQuery Data Transfer Service 的运行通知。

概览

您可以为 BigQuery Data Transfer Service 配置两种类型的运行通知:

  • Pub/Sub 通知:转移作业运行成功或失败时发送的机器可读通知
  • 电子邮件通知:转移作业运行失败时发送的用户可读通知

您可以单独配置每种类型,也可以同时使用 Pub/Sub 和电子邮件两种运行通知。

Pub/Sub 通知

Pub/Sub 通知功能会将转移作业运行的相关信息发送到 Pub/Sub 主题。当已完成的转移作业运行处于以下状态时,系统将触发 Pub/Sub 通知:

  • SUCCEEDED
  • FAILED
  • CANCELLED

您可以向您具有足够权限的任何项目中的任何 Pub/Sub 主题发送通知。Pub/Sub 主题收到通知生成的消息后,系统可以将这些消息发送给该主题的任意数量的订阅者。

准备工作

在配置 Pub/Sub 转移作业运行通知之前,您应该完成以下准备工作:

  1. 为将接收通知的项目启用 Pub/Sub API。

    启用该 API

  2. 对接收通知的项目拥有足够的权限:

    • 如果您拥有接收通知的项目,则您很可能具备所需的权限。

    • 如果您打算创建主题来接收通知,应具备 pubsub.topics.create 权限。

    • 无论您是打算使用新主题还是现有主题,都应具备 pubsub.topics.setIamPolicy 权限。如果您创建了一个主题,则通常具备该主题的 pubsub.topics.setIamPolicy 权限。以下预定义 IAM 角色具备 pubsub.topics.setIamPolicy 权限:pubsub.admin。如需了解详情,请参阅 Pub/Sub 访问权限控制

  3. 存在要向其发送通知的 Pub/Sub 主题

通知格式

发送到 Pub/Sub 主题的通知由以下两部分组成:

  • 特性:一组键值对,用于描述事件。
  • 载荷:包含已更改对象的元数据的字符串。

特性

特性是指 BigQuery Data Transfer Service 发送到 Pub/Sub 主题的所有通知中包含的键值对。无论通知的载荷如何,通知始终包含下列键值对:

属性名称 示例 说明
eventType TRANSFER_RUN_FINISHED 刚刚发生的事件的类型。TRANSFER_RUN_FINISHED 是唯一的可能值。
payloadFormat JSON_API_V1 对象载荷的格式。JSON_API_V1 是唯一的可能值。

载荷

负载是一个字符串,其中包含传输运行的元数据。目前无法配置负载类型,提供此类型的目的在于适应未来的 API 版本变更。

负载类型 说明
JSON_API_V1 载荷将是一个采用 UTF-8 编码的 JSON 序列化字符串,其中包含 TransferRun 的资源表示形式

电子邮件通知

传输运行失败时,电子邮件通知功能会发送用户可读的电子邮件。这些邮件将发送给设置了相应传输的用户,且可配置。

如果转移作业运行电子邮件通知应发送给其他用户,请设置电子邮件转发规则以分发邮件。如果您使用的是 Gmail,则可以自动将 Gmail 邮件转发到另一个帐号

电子邮件通知由 BigQuery Data Transfer Service 发送,其中包含有关转移作业配置、转移作业运行以及与失败运行相关的运行历史记录链接的详细信息。例如:

From: bigquery-data-transfer-service-noreply@google.com
To: user_who_set_up_transfer
Title: BigQuery Data Transfer Service — Transfer Run Failure —
display_name

Transfer Configuration
Display Name: display_name
Source: data_source
Destination: project_id

Run Summary
Run: run_name
Schedule Time: schedule_time
Run Time: run_time
View Run History

Google LLC 1600 Amphitheatre Parkway, Mountain View, CA 94043

This email was sent because you indicated you are willing to receive Run
Notifications from the BigQuery Data Transfer Service. If you do not wish to
receive such emails in the future, click View Transfer Configuration and
un-check the "Send E-mail Notifications" option.

开启通知

您可以通过以下方式开启通知:

  • 在 BigQuery Data Transfer Service 控制台的通知选项部分:
    1. 点击切换开关以启用电子邮件通知。启用此选项后,转移作业管理员会在转移作业运行失败时收到电子邮件通知。
    2. 选择 Pub/Sub 主题部分,选择您的主题名称,或点击创建主题。此选项用于为您的转移作业配置 Pub/Sub 运行通知

运行通知价格

如果您配置了 Pub/Sub 运行通知,则需要支付 Pub/Sub 费用。如需了解详情,请参阅 Pub/Sub 价格页面。

后续步骤