创建并运行用于发送 Pub/Sub 状态通知的作业

本文档介绍了如何创建可发送 Pub/Sub 通知的批量作业。您可以使用 Pub/Sub 在作业或任务状态发生更改或作业或任务进入特定状态时收到通知。如需了解详情，请参阅使用通知监控作业。

准备工作

所需的角色

  • 如需获取创建和运行发送通知的作业所需的权限，请让管理员授予您以下 IAM 角色：

    如需详细了解如何授予角色，请参阅管理访问权限。

    您也可以通过自定义角色或其他预定义角色来获取所需的权限。

  • 除非您使用的是作业的服务帐号的默认配置，否则请确保它具有必要的权限。

    为了确保该作业的服务帐号拥有发布 Pub/Sub 通知所需的权限，请让管理员为作业的服务帐号授予 Pub/Sub 主题的 Pub/Sub Publisher (roles/pubsub.publisher) IAM 角色。

  • 如果您希望作业将通知发布到与作业不同的项目中的 Pub/Sub 主题，则必须向该作业项目的 Batch Service Agent 授予发布到该主题的权限。

    为了确保作业项目的 Batch 服务代理具有向其他项目中的 Pub/Sub 主题发布 Pub/Sub 通知所需的权限，请让管理员为作业项目的 Batch 服务代理授予 Pub/Sub 主题的 Pub/Sub Publisher (roles/pubsub.publisher) IAM 角色。

创建并运行可发送通知的作业

您可以通过执行以下操作来创建发送 Pub/Sub 通知的批处理作业：

使用 Google Cloud CLI 或 REST API 创建一个作业，在 JSON 文件正文中包含 notifications 字段以及一个或多个 jobNotification 对象：

  "notifications": [
    {
      "pubsubTopic": "projects/PROJECT_ID/topics/TOPIC_ID",
      "message": {
        ATTRIBUTES
      }
    }
  ]

请替换以下内容：

  • PROJECT_ID：包含 Pub/Sub 主题的项目的 ID。
  • TOPIC_ID：您在启用 Pub/Sub 通知时创建的主题的 Pub/Sub 主题 ID。

  • ATTRIBUTES：指定以下一个或多个属性，每个属性都可让您接收有关作业或其所有任务的状态的通知。

    • 对于与所有作业状态更改有关的通知，请指定以下内容：

      "type": "JOB_STATE_CHANGED"

    • 对于特定作业状态更改的通知，请指定以下内容：

      "type": "JOB_STATE_CHANGED",
"newJobState": "JOB_STATE"

      将 JOB_STATE 替换为以下作业状态之一：

      • QUEUED
      • SCHEDULED
      • RUNNING
      • SUCCEEDED
      • FAILED

      如需详细了解作业状态，请参阅作业生命周期。

    • 对于与所有任务状态变化有关的通知，请指定以下内容：

      "type": "TASK_STATE_CHANGED"

    • 对于特定任务状态变化的通知，请指定以下内容：

      "type": "TASK_STATE_CHANGED",
"newTaskState": "TASK_STATE"

      将 TASK_STATE 替换为以下任务状态之一：

      • PENDING
      • ASSIGNED
      • RUNNING
      • SUCCEEDED
      • FAILED

      如需详细了解任务状态，请参阅作业生命周期。

例如，假设您希望接收有关所有作业状态更改以及任何任务失败的通知。为此，您可以使用类似于以下内容的 JSON 配置文件：

{
  "taskGroups": [
    {
      "taskSpec": {
        "runnables": [
          {
            "script": {
              "text": "echo Hello World! This is task $BATCH_TASK_INDEX."
            }
          }
        ]
      },
      "taskCount": 3,
    }
  ],
  "logsPolicy": {
      "destination": "CLOUD_LOGGING"
  },
  "notifications": [
    {
      "pubsubTopic": "projects/PROJECT_ID/topics/TOPIC_ID",
      "message": {
        "type": "JOB_STATE_CHANGED"
      }
    },
    {
      "pubsubTopic": "projects/PROJECT_ID/topics/TOPIC_ID",
      "message": {
        "type": "TASK_STATE_CHANGED",
        "newTaskState": "FAILED"
      }
    }
  ]
}

作业开始运行后，您可以使用其通知。例如，如果作业的 Pub/Sub 主题具有将通知流式传输到 BigQuery 的订阅，您可以分析 BigQuery 中的 Pub/Sub 通知。

后续步骤