此页面由 Cloud Translation API 翻译。

使用 MPI 库配置任务通信

本文档介绍了如何使用在不同虚拟机之间相互通信的紧密耦合任务使用消息传递接口 (MPI) 库。

对于批处理作业，耦合描述了任务之间的相互依赖关系；这会影响您如何使用作业的 parallelism 字段配置可并行（而非顺序）运行的任务数量。可以使用以下类型的耦合来描述任务：

松散耦合任务：可以独立运行的任务。
紧密耦合任务：相互依赖才能运行的任务。

（可选）您可以创建一个使用 MPI 库的作业，以实现紧密耦合可以跨不同虚拟机实例相互通信常见用途是紧密耦合的高性能计算 (HPC) 工作负载。

准备工作

如果您以前没有使用过 Batch，请参阅 Batch 使用入门并通过填写针对项目和用户的前提条件。
如需获取创建作业所需的权限，请让管理员授予您以下 IAM 角色：
- Batch Job Editor (roles/batch.jobsEditor) 针对项目
- Service Account User (roles/iam.serviceAccountUser) 服务账号用户针对作业的服务账号，该账号默认为默认 Compute Engine 服务账号
如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

您也可以通过自定义角色或其他预定义角色来获取所需的权限。
如果您为此作业指定了网络，请确保该网络具有允许作业的虚拟机之间建立连接的防火墙规则。了解如何配置适用于常见用例的 VPC 防火墙规则。

创建和运行使用 MPI 处理紧密耦合的任务的作业

本部分提供有关如何创建可以使用 MPI 的作业的示例。值得注意的是，此示例作业有 3 个可运行项：

第一个可运行对象是一个脚本，用于为 MPI 准备作业，方法是停用并发多线程以及安装 Intel MPI。
第二个可运行对象为空屏障可运行（格式为 { "barrier": {} }），可确保所有任务都完成先设置 MPI，然后再继续运行未来的可运行对象。
第三个可运行对象（以及任何后续可运行对象）可用于作业的工作负载

您可以使用 gcloud CLI 或 Batch API 创建一个作业，以便对紧密耦合的任务使用 MPI。

gcloud

如需使用 gcloud CLI 创建一个脚本作业，以便对紧密耦合的任务使用 MPI，请执行以下操作：

创建一个包含以下内容的 JSON 配置文件：

{
    "taskGroups": [
        {
            "taskSpec": {
                "runnables": [
                    {
                        "script": {
                            "text": "google_mpi_tuning --nosmt; google_install_mpi --intel_mpi;"
                        }
                    },
                    { "barrier": {} },
                    {
                        "script": {
                            SCRIPT
                        }
                    }
                ]
            },
            "taskCount": TASK_COUNT,
            "taskCountPerNode": TASK_COUNT_PER_NODE,
            "requireHostsFile": REQUIRE_HOSTS_FILE,
            "permissiveSsh": PERMISSIVE_SSH
        }
    ]
}

替换以下内容：

SCRIPT：脚本可为使用 MPI 的工作负载运行。
TASK_COUNT：作业的任务数量。该值必须是介于 1 和每个任务组的任务数限制之间的整数。要使用 MPI，请执行以下操作：库，此字段是必填字段，必须设置为 2 或更高。
TASK_COUNT_PER_NODE：一个作业可以在一个虚拟机实例上并发运行。要使用 MPI 库，请执行以下操作：由 Batch 提供，因此此字段是必填字段，且必须是设置为 1，相当于每个任务运行一个虚拟机实例。
REQUIRE_HOSTS_FILE：当设置为 true 时，作业创建一个文件，列出在任务组中运行的虚拟机实例。文件路径存储在 BATCH_HOSTS_FILE 环境变量中。接收者使用 Batch 提供的 MPI 库，此字段必须设置为 true。
PERMISSIVE_SSH：当设置为 true 时， Batch 将 SSH 配置为允许无密码在任务组中运行的虚拟机实例之间的通信。要使用 Batch 提供的 MPI 库，必须设置此字段 true。

如需创建作业，请使用 gcloud batch jobs submit 命令。
```
gcloud batch jobs submit JOB_NAME \
  --location LOCATION \
  --config JSON_CONFIGURATION_FILE
```
替换以下内容：
- JOB_NAME：作业的名称。
- LOCATION：作业的位置。
- JSON_CONFIGURATION_FILE：JSON 路径该文件包含作业的配置详情。

或者，您也可以提高所提供的 MPI 库的性能方法是执行以下操作：

使用虚拟机实例模板创建和运行作业并指定支持 HPC 的虚拟机实例模板创建 Deployment 清单
指定 Cloud Logging 作为您的作业资源中的日志记录信息。

例如，通过使用 MPI 的实例模板创建脚本作业并使 1 个任务输出该任务中 3 个任务的主机名群组：

在名为 example-job-uses-mpi.json，其中包含以下内容：

{
    "taskGroups": [
        {
            "taskSpec": {
                "runnables": [
                    {
                        "script": {
                            "text": "google_mpi_tuning --nosmt; google_install_mpi --intel_mpi;"
                        }
                    },
                    { "barrier": {} },
                    {
                        "script": {
                            "text":
                                "if [ $BATCH_TASK_INDEX = 0 ]; then
                                mpirun -hostfile $BATCH_HOSTS_FILE -np 3 hostname;
                                fi"
                        }
                    },
                    { "barrier": {} }
                ]
            },
            "taskCount": 3,
            "taskCountPerNode": 1,
            "requireHostsFile": true,
            "permissiveSsh": true
        }
    ],
    "allocationPolicy": {
        "instances": [
            {
                "instanceTemplate": "example-template-job-uses-mpi"
            }
        ]
    },
    "logsPolicy": {
        "destination": "CLOUD_LOGGING"
    }
}

运行以下命令：

gcloud batch jobs submit example-template-job-uses-mpi \
  --location us-central1 \
  --config example-job-uses-mpi.json

API

如需使用 Batch API 创建脚本作业，以便对紧密耦合的任务使用 MPI，请使用 jobs.create 方法并指定 permissiveSsh、requireHostsFile、taskCount 和 taskCountPerNode 字段。

POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_ID

{
    "taskGroups": [
        {
            "taskSpec": {
                "runnables": [
                    {
                        "script": {
                            "text": "google_mpi_tuning --nosmt; google_install_mpi --intel_mpi;"
                        }
                    },
                    { "barrier": {} },
                    {
                        "script": {
                            SCRIPT
                        }
                    }
                ]
            },
            "taskCount": TASK_COUNT,
            "taskCountPerNode": TASK_COUNT_PER_NODE,
            "requireHostsFile": REQUIRE_HOSTS_FILE,
            "permissiveSsh": PERMISSIVE_SSH
        }
    ]
}

替换以下内容：

PROJECT_ID：项目 ID 项目名称
LOCATION：位置作业的组成部分。
JOB_NAME：作业的名称。
SCRIPT：脚本可为使用 MPI 的工作负载运行。
TASK_COUNT：作业的任务数量。该值必须介于 1 和每个任务组的任务数上限之间的整数。要使用 MPI，请执行以下操作：库，此字段是必填字段，必须设置为 2 或更高。
TASK_COUNT_PER_NODE：作业可以在虚拟机实例上并发运行的任务数量。要使用 MPI 库，请执行以下操作：由 Batch 提供，此字段是必填字段，必须进行相应设置 1，相当于每个任务运行一个虚拟机实例。
REQUIRE_HOSTS_FILE：如果设置为 true，作业会创建一个文件，其中列出了在任务组中运行的虚拟机实例。文件路径存储在 BATCH_HOSTS_FILE 环境变量中。要使用 Batch 提供的 MPI 库，必须设置此字段 true。
PERMISSIVE_SSH：当设置为 true 时， Batch 将 SSH 配置为允许无密码通信在任务组中运行的虚拟机实例之间分配负载要使用 MPI 库，请执行以下操作：此字段必须设置为 true。

或者，您也可以提高所提供的 MPI 库的性能方法是执行以下操作：

使用虚拟机实例模板创建和运行作业并指定支持 HPC 的虚拟机实例模板创建 Deployment 清单
在作业的资源中，将 Cloud Logging 指定为作业日志信息的目标位置。

例如，如需根据使用 MPI 的实例模板创建脚本作业，并让 1 个任务输出任务组中 3 个任务的主机名，请使用以下请求：

POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/jobs?job_id=example-template-job-uses-mpi

{
    "taskGroups": [
        {
            "taskSpec": {
                "runnables": [
                    {
                        "script": {
                            "text": "google_mpi_tuning --nosmt; google_install_mpi --intel_mpi;"
                        }
                    },
                    { "barrier": {} },
                    {
                        "script": {
                            "text":
                                "if [ $BATCH_TASK_INDEX = 0 ]; then
                                mpirun -hostfile $BATCH_HOSTS_FILE -np 3 hostname;
                                fi"
                        }
                    },
                    { "barrier": {} }
                ]
            },
            "taskCount": 3,
            "taskCountPerNode": 1,
            "requireHostsFile": true,
            "permissiveSsh": true
        }
    ],
    "allocationPolicy": {
        "instances": [
            {
                "instanceTemplate": "example-template-job-uses-mpi"
            }
        ]
    },
    "logsPolicy": {
        "destination": "CLOUD_LOGGING"
    }
}

其中，PROJECT_ID 是项目 ID 项目名称

后续步骤

如需查看使用 MPI 处理紧密耦合的任务的更详细的示例，请参阅使用 Batch 运行天气研究和预测模型。
了解如何缩短包含紧密耦合任务的作业的延迟时间。
如果您在创建或运行作业时遇到问题，请参阅问题排查。
查看作业和任务。
详细了解作业创建选项。