本文档介绍了如何创建可发送 Pub/Sub 通知。 您可以使用 Pub/Sub 在作业或任务状态发生变化或进入特定状态时接收通知。如需更多信息 请参阅使用通知监控作业。
准备工作
- 如果您以前没有使用过 Batch,请参阅 Batch 使用入门 并通过填写 针对项目和用户的前提条件。
- 为批处理通知创建或指定 Pub/Sub 主题。
- 配置订阅以接收和使用通知。
所需的角色
-
为了获得创建和运行发送通知的作业所需的权限, 请让管理员授予您 以下 IAM 角色:
-
Batch Job Editor (
roles/batch.jobsEditor
) 项目级别 -
作业的服务账号(默认是 默认 Compute Engine 服务账号)上的 Service Account User (
roles/iam.serviceAccountUser
) 角色。 -
Pub/Sub 编辑器 (
roles/pubsub.editor
) 针对 Pub/Sub 主题或项目。
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
-
Batch Job Editor (
-
为了确保作业的服务账号具备 拥有发布 Pub/Sub 通知的权限, 请让管理员向该作业的服务账号授予 您的 Pub/Sub 主题的 Pub/Sub Publisher (
roles/pubsub.publisher
) IAM 角色。 - 如果您希望作业向某个 Pub/Sub 主题发布通知,
位于与作业不同的项目中,则
批量服务代理
必须为作业项目授予发布到该主题的权限。
为了确保作业所属项目的批处理服务代理具有向另一个项目中的 Pub/Sub 主题发布 Pub/Sub 通知的必要权限,请让您的管理员向作业所属项目的批处理服务代理授予 Pub/Sub 主题的 Pub/Sub Publisher (
roles/pubsub.publisher
) IAM 角色。
创建并运行可发送通知的作业
您可以创建用于发送 Pub/Sub 通知的批处理作业 执行以下操作:
使用 Google Cloud CLI 或 REST API 创建作业,在 JSON 文件的主正文中添加 notifications
字段和一个或多个 jobNotification
对象:
"notifications": [
{
"pubsubTopic": "projects/PROJECT_ID/topics/TOPIC_ID",
"message": {
ATTRIBUTES
}
}
]
替换以下内容:
PROJECT_ID
:包含 Pub/Sub 主题的项目的 ID。TOPIC_ID
:主题的 Pub/Sub 主题 ID 创建 Deployment 已启用 Pub/Sub 通知。ATTRIBUTES
:指定以下一项或多项 属性,每个属性都可让您接收有关 作业或其所有任务。对于与所有作业状态更改有关的通知,请指定以下内容:
"type": "JOB_STATE_CHANGED"
对于特定作业状态更改的通知,请指定以下内容:
"type": "JOB_STATE_CHANGED", "newJobState": "JOB_STATE"
将
JOB_STATE
替换为以下作业之一 州:QUEUED
SCHEDULED
RUNNING
SUCCEEDED
FAILED
如需详细了解作业状态,请参阅作业生命周期。
对于与所有任务状态变化有关的通知,请指定以下内容:
"type": "TASK_STATE_CHANGED"
对于特定任务状态变化的通知,请指定以下内容:
"type": "TASK_STATE_CHANGED", "newTaskState": "TASK_STATE"
将
TASK_STATE
替换为以下其中一项 任务状态:PENDING
ASSIGNED
RUNNING
SUCCEEDED
FAILED
如需详细了解任务状态,请参阅 作业生命周期。
例如,假设您想要接收有关所有作业状态的通知 以及任务失败时的状态为此,您可以使用 JSON 类似于以下内容的配置文件:
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "echo Hello World! This is task $BATCH_TASK_INDEX."
}
}
]
},
"taskCount": 3,
}
],
"logsPolicy": {
"destination": "CLOUD_LOGGING"
},
"notifications": [
{
"pubsubTopic": "projects/PROJECT_ID/topics/TOPIC_ID",
"message": {
"type": "JOB_STATE_CHANGED"
}
},
{
"pubsubTopic": "projects/PROJECT_ID/topics/TOPIC_ID",
"message": {
"type": "TASK_STATE_CHANGED",
"newTaskState": "FAILED"
}
}
]
}
作业开始运行后,您就可以使用其通知了。例如,如果作业的 Pub/Sub 主题已有订阅 将通知流式传输到 BigQuery 的功能, 分析 BigQuery 中的 Pub/Sub 通知。
后续步骤
- 详细了解如何 使用 Pub/Sub 通知和 BigQuery 监控作业状态。
- 如果您在创建或运行作业时遇到问题,请参阅问题排查。
- 查看作业和任务。
- 详细了解作业创建选项。