本文档介绍了如何创建可发送 Pub/Sub 通知的批量作业。您可以使用 Pub/Sub 在作业或任务状态发生更改或作业或任务进入特定状态时收到通知。如需了解详情,请参阅使用通知监控作业。
准备工作
- 如果您之前未使用过 Batch,请查看 Batch 使用入门,并通过完成项目和用户的前提条件来启用 Batch。
- 创建或识别用于批量通知的 Pub/Sub 主题。
- 配置订阅以接收和使用通知。
所需的角色
-
如需获取创建和运行发送通知的作业所需的权限,请让管理员授予您以下 IAM 角色:
-
项目的 Batch Job Editor (
roles/batch.jobsEditor
)。 -
作业的服务帐号(默认为默认 Compute Engine 服务帐号)的 Service Account User (
roles/iam.serviceAccountUser
)。 -
Pub/Sub 主题或项目上的 Pub/Sub Editor (
roles/pubsub.editor
)。
如需详细了解如何授予角色,请参阅管理访问权限。
-
项目的 Batch Job Editor (
-
除非您使用的是作业的服务帐号的默认配置,否则请确保它具有必要的权限。
为了确保该作业的服务帐号拥有发布 Pub/Sub 通知所需的权限,请让管理员为作业的服务帐号授予 Pub/Sub 主题的 Pub/Sub Publisher (
roles/pubsub.publisher
) IAM 角色。 - 如果您希望作业将通知发布到与作业不同的项目中的 Pub/Sub 主题,则必须向该作业项目的 Batch Service Agent 授予发布到该主题的权限。
为了确保作业项目的 Batch 服务代理具有向其他项目中的 Pub/Sub 主题发布 Pub/Sub 通知所需的权限,请让管理员为作业项目的 Batch 服务代理授予 Pub/Sub 主题的 Pub/Sub Publisher (
roles/pubsub.publisher
) IAM 角色。
创建并运行可发送通知的作业
您可以通过执行以下操作来创建发送 Pub/Sub 通知的批处理作业:
使用 Google Cloud CLI 或 REST API 创建一个作业,在 JSON 文件正文中包含 notifications
字段以及一个或多个 jobNotification
对象:
"notifications": [
{
"pubsubTopic": "projects/PROJECT_ID/topics/TOPIC_ID",
"message": {
ATTRIBUTES
}
}
]
请替换以下内容:
PROJECT_ID
:包含 Pub/Sub 主题的项目的 ID。TOPIC_ID
:您在启用 Pub/Sub 通知时创建的主题的 Pub/Sub 主题 ID。ATTRIBUTES
:指定以下一个或多个属性,每个属性都可让您接收有关作业或其所有任务的状态的通知。对于与所有作业状态更改有关的通知,请指定以下内容:
"type": "JOB_STATE_CHANGED"
对于特定作业状态更改的通知,请指定以下内容:
"type": "JOB_STATE_CHANGED", "newJobState": "JOB_STATE"
将
JOB_STATE
替换为以下作业状态之一:QUEUED
SCHEDULED
RUNNING
SUCCEEDED
FAILED
如需详细了解作业状态,请参阅作业生命周期。
对于与所有任务状态变化有关的通知,请指定以下内容:
"type": "TASK_STATE_CHANGED"
对于特定任务状态变化的通知,请指定以下内容:
"type": "TASK_STATE_CHANGED", "newTaskState": "TASK_STATE"
将
TASK_STATE
替换为以下任务状态之一:PENDING
ASSIGNED
RUNNING
SUCCEEDED
FAILED
如需详细了解任务状态,请参阅作业生命周期。
例如,假设您希望接收有关所有作业状态更改以及任何任务失败的通知。为此,您可以使用类似于以下内容的 JSON 配置文件:
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "echo Hello World! This is task $BATCH_TASK_INDEX."
}
}
]
},
"taskCount": 3,
}
],
"logsPolicy": {
"destination": "CLOUD_LOGGING"
},
"notifications": [
{
"pubsubTopic": "projects/PROJECT_ID/topics/TOPIC_ID",
"message": {
"type": "JOB_STATE_CHANGED"
}
},
{
"pubsubTopic": "projects/PROJECT_ID/topics/TOPIC_ID",
"message": {
"type": "TASK_STATE_CHANGED",
"newTaskState": "FAILED"
}
}
]
}
作业开始运行后,您可以使用其通知。例如,如果作业的 Pub/Sub 主题具有将通知流式传输到 BigQuery 的订阅,您可以分析 BigQuery 中的 Pub/Sub 通知。
后续步骤
- 详细了解如何使用 Pub/Sub 通知和 BigQuery 监控作业状态。
- 如果您在创建或运行作业时遇到问题,请参阅问题排查。
- 查看作业和任务。
- 详细了解作业创建选项。