本文档介绍了如何使用 在不同虚拟机之间相互通信的紧密耦合任务 使用消息传递接口 (MPI) 库。
对于批处理作业,耦合描述了任务之间的相互依赖关系;这会影响您如何使用作业的 parallelism
字段配置可并行(而非顺序)运行的任务数量。可以使用以下类型的耦合来描述任务:
- 松散耦合任务:可以独立运行的任务。
- 紧密耦合任务:相互依赖才能运行的任务。
(可选)您可以创建一个使用 MPI 库的作业,以实现紧密耦合 可以跨不同虚拟机实例相互通信常见用途 是紧密耦合的高性能计算 (HPC) 工作负载。
准备工作
- 如果您以前没有使用过 Batch,请参阅 Batch 使用入门 并通过填写 针对项目和用户的前提条件。
-
如需获取创建作业所需的权限, 请让管理员授予您 以下 IAM 角色:
-
Batch Job Editor (
roles/batch.jobsEditor
) 针对项目 -
Service Account User (
roles/iam.serviceAccountUser
) 服务账号用户 针对作业的服务账号,该账号默认为默认 Compute Engine 服务账号
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
-
Batch Job Editor (
- 如果您为此作业指定了网络,请确保该网络具有允许作业的虚拟机之间建立连接的防火墙规则。了解如何 配置 适用于常见用例的 VPC 防火墙规则。
创建和运行使用 MPI 处理紧密耦合的任务的作业
本部分提供有关如何创建可以使用 MPI 的作业的示例。 值得注意的是,此示例作业有 3 个可运行项:
- 第一个可运行对象是一个脚本,用于为 MPI 准备作业,方法是 停用并发多线程 以及安装 Intel MPI。
- 第二个可运行对象为空
屏障可运行
(格式为
{ "barrier": {} }
),可确保所有任务都完成 先设置 MPI,然后再继续运行未来的可运行对象。 - 第三个可运行对象(以及任何后续可运行对象)可用于 作业的工作负载
您可以使用 gcloud CLI 或 Batch API 创建一个作业,以便对紧密耦合的任务使用 MPI。
gcloud
如需使用 gcloud CLI 创建一个脚本作业,以便对紧密耦合的任务使用 MPI,请执行以下操作:
创建一个包含以下内容的 JSON 配置文件:
{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "google_mpi_tuning --nosmt; google_install_mpi --intel_mpi;" } }, { "barrier": {} }, { "script": { SCRIPT } } ] }, "taskCount": TASK_COUNT, "taskCountPerNode": TASK_COUNT_PER_NODE, "requireHostsFile": REQUIRE_HOSTS_FILE, "permissiveSsh": PERMISSIVE_SSH } ] }
替换以下内容:
SCRIPT
:脚本 可为使用 MPI 的工作负载运行。TASK_COUNT
:作业的任务数量。该值必须是介于1
和每个任务组的任务数限制之间的整数。要使用 MPI,请执行以下操作: 库,此字段是必填字段, 必须设置为2
或更高。TASK_COUNT_PER_NODE
: 一个作业可以在一个虚拟机实例上并发运行。要使用 MPI 库,请执行以下操作: 由 Batch 提供,因此此字段是必填字段,且必须是 设置为1
,相当于每个任务运行一个虚拟机实例。REQUIRE_HOSTS_FILE
:当设置为true
时, 作业创建一个文件,列出在任务组中运行的虚拟机实例。文件路径存储在BATCH_HOSTS_FILE
环境变量中。接收者 使用 Batch 提供的 MPI 库,此字段 必须设置为 true。PERMISSIVE_SSH
:当设置为true
时, Batch 将 SSH 配置为允许无密码 在任务组中运行的虚拟机实例之间的通信。要使用 Batch 提供的 MPI 库,必须设置此字段 true。
如需创建作业,请使用
gcloud batch jobs submit
命令。gcloud batch jobs submit JOB_NAME \ --location LOCATION \ --config JSON_CONFIGURATION_FILE
替换以下内容:
JOB_NAME
:作业的名称。LOCATION
:作业的位置。JSON_CONFIGURATION_FILE
:JSON 路径 该文件包含作业的配置详情。
或者,您也可以提高所提供的 MPI 库的性能 方法是执行以下操作:
- 使用虚拟机实例模板创建和运行作业 并指定支持 HPC 的虚拟机实例模板 创建 Deployment 清单
- 指定 Cloud Logging 作为 您的作业资源中的日志记录信息。
例如,通过使用 MPI 的实例模板创建脚本作业 并使 1 个任务输出该任务中 3 个任务的主机名 群组:
在名为
example-job-uses-mpi.json
,其中包含以下内容:{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "google_mpi_tuning --nosmt; google_install_mpi --intel_mpi;" } }, { "barrier": {} }, { "script": { "text": "if [ $BATCH_TASK_INDEX = 0 ]; then mpirun -hostfile $BATCH_HOSTS_FILE -np 3 hostname; fi" } }, { "barrier": {} } ] }, "taskCount": 3, "taskCountPerNode": 1, "requireHostsFile": true, "permissiveSsh": true } ], "allocationPolicy": { "instances": [ { "instanceTemplate": "example-template-job-uses-mpi" } ] }, "logsPolicy": { "destination": "CLOUD_LOGGING" } }
运行以下命令:
gcloud batch jobs submit example-template-job-uses-mpi \ --location us-central1 \ --config example-job-uses-mpi.json
API
如需使用 Batch API 创建脚本作业,以便对紧密耦合的任务使用 MPI,请使用 jobs.create
方法并指定 permissiveSsh
、requireHostsFile
、taskCount
和 taskCountPerNode
字段。
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_ID
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "google_mpi_tuning --nosmt; google_install_mpi --intel_mpi;"
}
},
{ "barrier": {} },
{
"script": {
SCRIPT
}
}
]
},
"taskCount": TASK_COUNT,
"taskCountPerNode": TASK_COUNT_PER_NODE,
"requireHostsFile": REQUIRE_HOSTS_FILE,
"permissiveSsh": PERMISSIVE_SSH
}
]
}
替换以下内容:
PROJECT_ID
: 项目 ID 项目名称LOCATION
:位置 作业的组成部分。JOB_NAME
:作业的名称。SCRIPT
:脚本 可为使用 MPI 的工作负载运行。TASK_COUNT
:作业的任务数量。该值必须介于1
和每个任务组的任务数上限之间的整数。要使用 MPI,请执行以下操作: 库,此字段是必填字段, 必须设置为2
或更高。TASK_COUNT_PER_NODE
:作业可以在虚拟机实例上并发运行的任务数量。要使用 MPI 库,请执行以下操作: 由 Batch 提供,此字段是必填字段,必须进行相应设置1
,相当于每个任务运行一个虚拟机实例。REQUIRE_HOSTS_FILE
:如果设置为true
,作业会创建一个文件,其中列出了在任务组中运行的虚拟机实例。文件 路径存储在BATCH_HOSTS_FILE
环境变量中。要使用 Batch 提供的 MPI 库,必须设置此字段 true。PERMISSIVE_SSH
:当设置为true
时, Batch 将 SSH 配置为允许无密码通信 在任务组中运行的虚拟机实例之间分配负载要使用 MPI 库,请执行以下操作: 此字段必须设置为 true。
或者,您也可以提高所提供的 MPI 库的性能 方法是执行以下操作:
- 使用虚拟机实例模板创建和运行作业 并指定支持 HPC 的虚拟机实例模板 创建 Deployment 清单
- 在作业的资源中,将 Cloud Logging 指定为作业日志信息的目标位置。
例如,如需根据使用 MPI 的实例模板创建脚本作业,并让 1 个任务输出任务组中 3 个任务的主机名,请使用以下请求:
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/jobs?job_id=example-template-job-uses-mpi
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "google_mpi_tuning --nosmt; google_install_mpi --intel_mpi;"
}
},
{ "barrier": {} },
{
"script": {
"text":
"if [ $BATCH_TASK_INDEX = 0 ]; then
mpirun -hostfile $BATCH_HOSTS_FILE -np 3 hostname;
fi"
}
},
{ "barrier": {} }
]
},
"taskCount": 3,
"taskCountPerNode": 1,
"requireHostsFile": true,
"permissiveSsh": true
}
],
"allocationPolicy": {
"instances": [
{
"instanceTemplate": "example-template-job-uses-mpi"
}
]
},
"logsPolicy": {
"destination": "CLOUD_LOGGING"
}
}
其中,PROJECT_ID
是
项目 ID
项目名称
后续步骤
- 如需查看使用 MPI 处理紧密耦合的任务的更详细的示例, 请参阅使用 Batch 运行天气研究和预测模型。
- 了解如何缩短包含紧密耦合任务的作业的延迟时间。
- 如果您在创建或运行作业时遇到问题,请参阅问题排查。
- 查看作业和任务。
- 详细了解作业创建选项。