本文档介绍了如何使用消息传递接口 (MPI) 库配置一个带有紧密耦合的任务(跨不同虚拟机相互通信)的批量作业。
对于批量作业,耦合描述了相互依赖的任务;这会影响如何使用作业的 parallelism
字段配置可以并行(而不是依序)运行的任务数量。可以使用以下类型的耦合来描述任务:
- 松散耦合的任务:可以独立运行的任务。
- 紧密耦合的任务:彼此依赖才能运行的任务。
(可选)您可以创建一个使用 MPI 库的作业,让紧密耦合的任务在不同的虚拟机实例之间相互通信。MPI 的一个常见用例是紧密耦合的高性能计算 (HPC) 工作负载。
准备工作
- 如果您之前未使用过 Batch,请查看 Batch 使用入门,并在满足项目和用户的前提条件以启用 Batch。
-
如需获取创建作业所需的权限,请让管理员授予您以下 IAM 角色:
-
项目的 Batch Job Editor (
roles/batch.jobsEditor
) -
对作业的服务帐号拥有的 Service Account User (
roles/iam.serviceAccountUser
),默认为默认的 Compute Engine 服务帐号
如需详细了解如何授予角色,请参阅管理访问权限。
-
项目的 Batch Job Editor (
- 如果为此作业指定网络,请确保网络具有允许作业虚拟机之间连接的防火墙规则。了解如何为常见使用场景配置 VPC 防火墙规则。
创建和运行使用 MPI 处理紧密耦合的任务的作业
本部分提供有关如何创建可以使用 MPI 的作业的示例。 值得注意的是,示例作业有 3 个可运行对象:
- 第一个可运行对象是一个脚本,可通过停用并发多线程和安装 Intel MPI 来为 MPI 准备作业。
- 第二个可运行对象是空的屏障可运行对象(格式为
{ "barrier": {} }
),它可确保所有任务先完成 MPI 设置,然后再继续执行未来的可运行对象。 - 第三个可运行对象(以及任何后续可运行对象)可供作业的工作负载使用。
您可以通过 gcloud CLI 或 Batch API 创建使用 MPI 来执行紧密耦合的任务的作业。
gcloud
如需使用 gcloud CLI 创建将 MPI 用于紧密耦合的任务的脚本作业,请执行以下操作:
创建一个包含以下内容的 JSON 配置文件:
{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "google_mpi_tuning --nosmt; google_install_mpi --intel_mpi;" } }, { "barrier": {} }, { "script": { SCRIPT } } ] }, "taskCount": TASK_COUNT, "taskCountPerNode": TASK_COUNT_PER_NODE, "requireHostsFile": REQUIRE_HOSTS_FILE, "permissiveSsh": PERMISSIVE_SSH } ] }
替换以下内容:
SCRIPT
:可针对使用 MPI 的工作负载运行的脚本。TASK_COUNT
:作业的任务数量。 该值必须是介于1
到每个任务组的任务数限制之间的整数。如需使用 Batch 提供的 MPI 库,此字段是必填字段,且必须设置为2
或更高版本。TASK_COUNT_PER_NODE
:作业可在虚拟机实例上并发运行的任务数量。如需使用 Batch 提供的 MPI 库,此字段是必填字段,并且必须设置为1
(相当于为每个任务运行一个虚拟机实例)。REQUIRE_HOSTS_FILE
:如果设置为true
,作业会创建一个文件,列出在任务组中运行的虚拟机实例。文件路径存储在BATCH_HOSTS_FILE
环境变量中。如需使用 Batch 提供的 MPI 库,此字段必须设置为 true。PERMISSIVE_SSH
:设置为true
时,Batch 会将 SSH 配置为允许在任务组中运行的虚拟机实例之间进行无密码通信。如需使用 Batch 提供的 MPI 库,此字段必须设置为 true。
如需创建作业,请使用
gcloud batch jobs submit
命令。gcloud batch jobs submit JOB_NAME \ --location LOCATION \ --config JSON_CONFIGURATION_FILE
替换以下内容:
JOB_NAME
:作业的名称。LOCATION
:作业的位置。JSON_CONFIGURATION_FILE
:包含作业配置详细信息的 JSON 文件的路径。
或者,您可以通过执行以下操作来提高 Batch 提供的 MPI 库的性能:
- 使用虚拟机实例模板创建和运行作业,并在作业的资源中指定支持 HPC 的虚拟机实例模板。
- 将 Cloud Logging 指定为作业资源中作业日志记录信息的目标位置。
例如,如需通过使用 MPI 并使 1 个任务输出任务组中 3 个任务的主机名的实例模板创建脚本作业,可使用以下代码:
在当前目录中创建一个名为
example-job-uses-mpi.json
且包含以下内容的 JSON 文件:{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "google_mpi_tuning --nosmt; google_install_mpi --intel_mpi;" } }, { "barrier": {} }, { "script": { "text": "if [ $BATCH_TASK_INDEX = 0 ]; then mpirun -hostfile $BATCH_HOSTS_FILE -np 3 hostname; fi" } }, { "barrier": {} } ] }, "taskCount": 3, "taskCountPerNode": 1, "requireHostsFile": true, "permissiveSsh": true } ], "allocationPolicy": { "instances": [ { "instanceTemplate": "example-template-job-uses-mpi" } ] }, "logsPolicy": { "destination": "CLOUD_LOGGING" } }
运行以下命令:
gcloud batch jobs submit example-template-job-uses-mpi \ --location us-central1 \ --config example-job-uses-mpi.json
API
如需通过 Batch API 创建将 MPI 用于紧密耦合任务的脚本作业,请使用 jobs.create
方法并指定 permissiveSsh
、requireHostsFile
、taskCount
和 taskCountPerNode
字段。
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_ID
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "google_mpi_tuning --nosmt; google_install_mpi --intel_mpi;"
}
},
{ "barrier": {} },
{
"script": {
SCRIPT
}
}
]
},
"taskCount": TASK_COUNT,
"taskCountPerNode": TASK_COUNT_PER_NODE,
"requireHostsFile": REQUIRE_HOSTS_FILE,
"permissiveSsh": PERMISSIVE_SSH
}
]
}
替换以下内容:
PROJECT_ID
:您的项目 ID。LOCATION
:作业的位置。JOB_NAME
:作业的名称。SCRIPT
:可针对使用 MPI 的工作负载运行的脚本。TASK_COUNT
:作业的任务数量。该值必须是介于1
和每个任务组的任务数限制之间的整数。如需使用 Batch 提供的 MPI 库,此字段是必填字段,且必须设置为2
或更高版本。TASK_COUNT_PER_NODE
:作业可在虚拟机实例上并发运行的任务数量。如需使用 Batch 提供的 MPI 库,此字段是必填字段,并且必须设置为1
,相当于为每个任务运行一个虚拟机实例。REQUIRE_HOSTS_FILE
:如果设置为true
,该作业会创建一个文件,列出在任务组中运行的虚拟机实例。文件路径存储在BATCH_HOSTS_FILE
环境变量中。如需使用 Batch 提供的 MPI 库,此字段必须设置为 true。PERMISSIVE_SSH
:设置为true
时,Batch 会将 SSH 配置为允许在任务组中运行的虚拟机实例之间进行无密码通信。如需使用 Batch 提供的 MPI 库,此字段必须设置为 true。
或者,您可以通过执行以下操作来提高 Batch 提供的 MPI 库的性能:
- 使用虚拟机实例模板创建和运行作业,并在作业的资源中指定支持 HPC 的虚拟机实例模板。
- 将 Cloud Logging 指定为作业资源中作业日志记录信息的目标位置。
例如,如需通过使用 MPI 并使 1 个任务输出任务组中 3 个任务的主机名的实例模板创建脚本作业,请使用以下请求:
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/jobs?job_id=example-template-job-uses-mpi
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "google_mpi_tuning --nosmt; google_install_mpi --intel_mpi;"
}
},
{ "barrier": {} },
{
"script": {
"text":
"if [ $BATCH_TASK_INDEX = 0 ]; then
mpirun -hostfile $BATCH_HOSTS_FILE -np 3 hostname;
fi"
}
},
{ "barrier": {} }
]
},
"taskCount": 3,
"taskCountPerNode": 1,
"requireHostsFile": true,
"permissiveSsh": true
}
],
"allocationPolicy": {
"instances": [
{
"instanceTemplate": "example-template-job-uses-mpi"
}
]
},
"logsPolicy": {
"destination": "CLOUD_LOGGING"
}
}
其中,PROJECT_ID
是您的项目 ID。
后续步骤
- 如需查看将 MPI 用于紧密耦合的任务的更详细示例,请参阅使用 Batch 运行天气研究和预测模型。
- 了解如何减少具有紧密耦合的任务的作业的延迟时间。
- 如果您在创建或运行作业时遇到问题,请参阅问题排查。
- 查看任务和任务。
- 详细了解作业创建选项。