本文档介绍了如何在创建作业时指定 Compute Engine 虚拟机实例模板,以便为批处理作业定义虚拟机资源。
除非您使用以下方法之一定义作业运行时所用的虚拟机资源类型,否则 Batch 会自动定义这些类型:
- 使用
instances[].policy
字段直接定义作业的虚拟机资源。 大多数批处理文档中都演示了此方法。 使用
instances[].instanceTemplate
字段通过模板定义作业的虚拟机资源。 本文档介绍的就是这种方法。如需指定 Batch 不提供作业字段的虚拟机选项,必须使用模板。如果您想为多个作业指定相同的虚拟机资源,使用模板也很方便。
准备工作
- 如果您之前未使用过批处理功能,请参阅开始使用批处理,并完成适用于项目和用户的前提条件,以启用批处理功能。
- 创建实例模板或指定现有实例模板。
-
如需获得创建作业所需的权限,请让您的管理员为您授予以下 IAM 角色:
-
项目的 Batch Job Editor (
roles/batch.jobsEditor
) -
作业的服务账号(默认是默认的 Compute Engine 服务账号)上的 Service Account User (
roles/iam.serviceAccountUser
) -
通过 Compute Engine 虚拟机实例模板创建作业:
在虚拟机实例模板上使用 Compute Viewer (
roles/compute.viewer
)
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
-
项目的 Batch Job Editor (
使用 Compute Engine 虚拟机实例模板创建作业
本部分提供了一些示例,介绍了如何根据现有的虚拟机实例模板创建基本脚本作业。您可以使用 gcloud CLI、Batch API、Go、Java、Node.js、Python 或 C++ 从虚拟机实例模板创建作业。
gcloud
如需使用 gcloud CLI 从虚拟机实例模板创建作业,请使用 gcloud batch jobs submit
命令,并在作业的 JSON 配置文件中指定虚拟机实例模板。
例如,如需根据虚拟机实例模板创建基本脚本作业,请执行以下操作:
在当前目录中创建一个名为
hello-world-instance-template.json
的 JSON 文件,其中包含以下内容:{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks." } } ], "computeResource": { "cpuMilli": 2000, "memoryMib": 16 }, "maxRetryCount": 2, "maxRunDuration": "3600s" }, "taskCount": 4, "parallelism": 2 } ], "allocationPolicy": { "instances": [ { "installGpuDrivers": INSTALL_GPU_DRIVERS, "instanceTemplate": "INSTANCE_TEMPLATE_NAME" } ] }, "labels": { "department": "finance", "env": "testing" }, "logsPolicy": { "destination": "CLOUD_LOGGING" } }
替换以下内容:
INSTALL_GPU_DRIVERS
:可选。设置为true
时,批处理作业会提取您在 Compute Engine 虚拟机实例模板中指定的 GPU 类型所需的驱动程序,并代表您安装这些驱动程序。如需了解详情,请参阅如何创建使用 GPU 的任务。INSTANCE_TEMPLATE_NAME
:现有 Compute Engine 虚拟机实例模板的名称。了解如何创建和列出实例模板。
运行以下命令:
gcloud batch jobs submit example-template-job \ --location us-central1 \ --config hello-world-instance-template.json
API
如需使用 Batch API 创建基本作业,请使用 jobs.create
方法,并在 allocationPolicy
字段中指定虚拟机实例模板。
例如,如需通过虚拟机实例模板创建基本脚本作业,请使用以下请求:
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/jobs?job_id=example-script-job
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks."
}
}
],
"computeResource": {
"cpuMilli": 2000,
"memoryMib": 16
},
"maxRetryCount": 2,
"maxRunDuration": "3600s"
},
"taskCount": 4,
"parallelism": 2
}
],
"allocationPolicy": {
"instances": [
{
"installGpuDrivers": INSTALL_GPU_DRIVERS,
"instanceTemplate": "INSTANCE_TEMPLATE_NAME"
}
]
},
"labels": {
"department": "finance",
"env": "testing"
},
"logsPolicy": {
"destination": "CLOUD_LOGGING"
}
}
替换以下内容:
PROJECT_ID
:您的项目的项目 ID。INSTALL_GPU_DRIVERS
:可选。设置为true
后,批处理作业会提取您在 Compute Engine 虚拟机实例模板中指定的 GPU 类型所需的驱动程序,并代表您安装这些驱动程序。如需了解详情,请参阅如何创建使用 GPU 的作业。INSTANCE_TEMPLATE_NAME
:现有 Compute Engine 虚拟机实例模板的名称。了解如何创建和列出实例模板。
Go
Go
如需了解详情,请参阅 批处理 Go API 参考文档。
如需向 Batch 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
Java
Java
如需了解详情,请参阅 批处理 Java API 参考文档。
如需向 Batch 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
Node.js
Node.js
如需了解详情,请参阅 批处理 Node.js API 参考文档。
如需向 Batch 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
Python
Python
如需了解详情,请参阅 批处理 Python API 参考文档。
如需向 Batch 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。
C++
C++
如需了解详情,请参阅 批处理 C++ API 参考文档。
如需向 Batch 进行身份验证,请设置应用默认凭据。 如需了解详情,请参阅为本地开发环境设置身份验证。