使用 Pub/Sub 通知和 BigQuery 监控作业状态

本文档介绍了如何通过设置 Pub/Sub 通知来监控作业和任务状态变化。您可以将通知用于 例如，本文档介绍了如何流式传输 发送到 BigQuery 表，您可以用它来分析 数据。如需详细了解 Pub/Sub 通知的用例，请参阅 Pub/Sub 文档中的选择订阅类型。

或者，如果您想将与作业相关的所有信息导出到 BigQuery，请改为参阅导出作业信息。

注意 ：Pub/Sub 和 BigQuery 是不同的 Google Cloud 有自己定价的产品。如需了解详情，请参阅 Pub/Sub 价格和 BigQuery 价格。

准备工作

1. 如果您之前未使用过批处理功能，请参阅开始使用批处理，并完成适用于项目和用户的前提条件，以启用批处理功能。
2. 如果您想为批处理作业设置 Pub/Sub 通知，请执行以下操作：

   1. Enable the Pub/Sub API.

      Enable the API

   2. 如需获得配置 Pub/Sub 主题和订阅所需的权限，请让您的管理员为您授予项目的 Pub/Sub Editor (roles/pubsub.editor) IAM 角色。 如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

      您也可以通过自定义角色或其他预定义角色来获取所需的权限。

   注意：配置 Pub/Sub 主题和订阅后， 您的管理员将需要向各种 以允许作业向该主题发送通知。 具体而言，所需角色列在 创建并运行 发送 Pub/Sub 状态通知的作业页面。
3. 其他要求因您决定配置的订阅类型而异。例如，如果您想将通知流式传输到 BigQuery 表并对其进行分析，则必须执行以下操作：

   1. Enable the BigQuery API.

      Enable the API

   2. 为了确保 Pub/Sub 服务账号具备必要的权限 将 Pub/Sub 通知流式传输到 BigQuery 的权限； 请让管理员向 Pub/Sub 服务账号授予 Pub/Sub 主题项目的 BigQuery Data Editor (roles/bigquery.dataEditor) IAM 角色。

      如需详细了解如何分配此角色，请参阅向 Pub/Sub 服务账号分配 BigQuery 角色。

   3. 确保您想分析其中通知的所有用户 BigQuery 拥有所需的权限。

      如需获得在 BigQuery 中查询 Pub/Sub 通知所需的权限，请让您的管理员为您授予以下 IAM 角色：

      • BigQuery 表所在项目的 BigQuery Job User (roles/bigquery.jobUser)
      • BigQuery Data Viewer (roles/bigquery.dataViewer) 针对 BigQuery 表

为批处理设置 Pub/Sub 通知

批处理支持针对作业和任务状态更改发送 Pub/Sub 通知，您可以将这些通知用于提醒、可观测性或分析。

为一个或多个 Batch 设置 Pub/Sub 通知 作业，请完成以下部分中介绍的步骤：

1. 为批量作业创建或标识 Pub/Sub 主题。
2. 为您的主题创建至少一个订阅，以接收和使用其通知。
3. 配置作业以向您的主题发送通知。

为 Batch 设置 Pub/Sub 通知后，您可以 视需要将每项作业配置为发送特定通知。您可以随时在作业或任务状态发生变化时收到通知，也可以过滤特定作业或任务状态的通知。值得注意的是，Pub/Sub 在作业或任务进入的第一个状态时发送通知；Pub/Sub 仅在作业从一种状态变为另一种状态时发送通知。如需详细了解您可以为 Pub/Sub 通知配置的属性，请参阅创建和运行用于发送 Pub/Sub 状态通知的作业。

为 Batch 创建或识别 Pub/Sub 主题

创建新的 Pub/Sub 主题或 确定现有 Pub/Sub 主题 批量通知的模板。

如本文档后面部分所述，作业无法将通知发送到 此 Pub/Sub 主题，直到您的管理员向您授予 授予这项权限。

创建订阅以接收和使用通知

如需接收并使用发布到 Pub/Sub 主题的消息，您必须至少创建一个对该主题的订阅。

例如，一种方法是将您的主题配置为将其通知流式传输到 BigQuery。然后，当您运行发布通知的作业时，便可以在 BigQuery 表中接收和分析通知。如需了解详情，请参阅本文档中的示例：在 BigQuery 中接收和使用 Pub/Sub 通知。

另外，如需详细了解订阅和其他订阅选项，请参阅 订阅概览 Pub/Sub 文档。

配置作业以向您的主题发送通知

要配置将 Pub/Sub 通知发送到您的 请按照 创建并运行用于发送 Pub/Sub 状态通知的作业 页面。具体而言，请执行以下操作：

1. 如果尚未授予，请让管理员授予作业向您的 Pub/Sub 主题发送通知所需的所有权限。这些权限列于 所需角色部分 该页面的另一个部分。
2. 通过定义作业的 notifications 字段，创建并运行启用 Pub/Sub 通知的作业。

示例：在 BigQuery 中接收和使用 Pub/Sub 通知

以下部分介绍了接收和使用 BigQuery 中的 Pub/Sub 通知。通过配置将主题的 Pub/Sub 通知流式传输到 BigQuery 表的订阅，您可以保留作业和任务状态更改的历史记录，并查询这些更改。

配置将通知流式传输到 BigQuery 的订阅

配置 Pub/Sub 订阅，以流式传输来自 导出到 BigQuery 表，请执行以下操作：

1. 如果您尚未创建，请为批处理创建或指定 Pub/Sub 主题。

2. 如果您还没有账号， 创建 BigQuery 数据集。

3. 创建 BigQuery 表 并采用以下架构定义：

   [
     {
       "name": "data",
       "type": "STRING"
     },
     {
       "name": "subscription_name",
       "type": "STRING"
     },
     {
       "name": "message_id",
       "type": "STRING"
     },
     {
       "name": "attributes",
       "type": "JSON"
     },
     {
       "name": "publish_time",
       "type": "TIMESTAMP",
       "mode": "NULLABLE"
     }
   ]
   

4. 创建流式传输到 BigQuery 的 Pub/Sub 订阅，并指定以下选项：

   • 主题：选择 Batch 的 Pub/Sub 主题。
   • 项目：选择 BigQuery 表所属的项目。
   • 数据集：选择包含 BigQuery 表的数据集。
   • 表：选择您在上一步中创建的表。
   • 选择使用主题架构。
   • 选择写入元数据。

现在，每当 Pub/Sub 通知发送到该主题时， Pub/Sub 将该通知流式传输到 BigQuery 表。 将作业配置为发送 Pub/Sub 通知后，您可以 在 BigQuery 中分析通知。

在 BigQuery 中分析通知

为主题配置对 BigQuery 表的订阅并运行向主题发送通知的作业后，您就可以在 BigQuery 中分析通知了。分析通知 在 BigQuery 中，运行查询 针对 BigQuery 表的 attributes 列。需要指定 进行查询，具体取决于您是为任务还是为作业配置了通知。

您可以查询任务通知的以下属性：

• JobUID
• NewTaskState
• Region
• TaskName
• TaskUID
• Type

您可以查询作业通知的以下属性：

• JobUID
• JobName
• NewJobState
• Region
• Type

例如，以下查询会显示与每个通知关联的 JobUID：

select attributes.JobUID from `example-table`

后续步骤

• 了解如何创建和运行用于发送 Pub/Sub 状态通知的作业。
• 详细了解 Pub/Sub 订阅。
• 详细了解 BigQuery 分析。