使用 MPI 库配置任务通信

本文档介绍了如何使用消息传递接口 (MPI) 库配置一个带有紧密耦合的任务（跨不同虚拟机相互通信）的批量作业。

对于批量作业，耦合描述了相互依赖的任务；这会影响如何使用作业的 parallelism 字段配置可以并行（而不是依序）运行的任务数量。可以使用以下类型的耦合来描述任务：

  • 松散耦合的任务：可以独立运行的任务。
  • 紧密耦合的任务：彼此依赖才能运行的任务。

（可选）您可以创建一个使用 MPI 库的作业，让紧密耦合的任务在不同的虚拟机实例之间相互通信。MPI 的一个常见用例是紧密耦合的高性能计算 (HPC) 工作负载。

准备工作

创建和运行使用 MPI 处理紧密耦合的任务的作业

本部分提供有关如何创建可以使用 MPI 的作业的示例。 值得注意的是，示例作业有 3 个可运行对象：

  • 第一个可运行对象是一个脚本，可通过停用并发多线程和安装 Intel MPI 来为 MPI 准备作业。
  • 第二个可运行对象是空的屏障可运行对象（格式为 { "barrier": {} }），它可确保所有任务先完成 MPI 设置，然后再继续执行未来的可运行对象。
  • 第三个可运行对象（以及任何后续可运行对象）可供作业的工作负载使用。

您可以通过 gcloud CLI 或 Batch API 创建使用 MPI 来执行紧密耦合的任务的作业。

gcloud

如需使用 gcloud CLI 创建将 MPI 用于紧密耦合的任务的脚本作业，请执行以下操作：

  1. 创建一个包含以下内容的 JSON 配置文件：

    {
    "taskGroups": [
        {
            "taskSpec": {
                "runnables": [
                    {
                        "script": {
                            "text": "google_mpi_tuning --nosmt; google_install_mpi --intel_mpi;"
                        }
                    },
                    { "barrier": {} },
                    {
                        "script": {
                            SCRIPT
                        }
                    }
                ]
            },
            "taskCount": TASK_COUNT,
            "taskCountPerNode": TASK_COUNT_PER_NODE,
            "requireHostsFile": REQUIRE_HOSTS_FILE,
            "permissiveSsh": PERMISSIVE_SSH
        }
    ]
}

    替换以下内容：

    • SCRIPT：可针对使用 MPI 的工作负载运行的脚本。
    • TASK_COUNT：作业的任务数量。 该值必须是介于 1 到每个任务组的任务数限制之间的整数。如需使用 Batch 提供的 MPI 库，此字段是必填字段，且必须设置为 2 或更高版本。
    • TASK_COUNT_PER_NODE：作业可在虚拟机实例上并发运行的任务数量。如需使用 Batch 提供的 MPI 库，此字段是必填字段，并且必须设置为 1（相当于为每个任务运行一个虚拟机实例）。
    • REQUIRE_HOSTS_FILE：如果设置为 true，作业会创建一个文件，列出在任务组中运行的虚拟机实例。文件路径存储在 BATCH_HOSTS_FILE 环境变量中。如需使用 Batch 提供的 MPI 库，此字段必须设置为 true。
    • PERMISSIVE_SSH：设置为 true 时，Batch 会将 SSH 配置为允许在任务组中运行的虚拟机实例之间进行无密码通信。如需使用 Batch 提供的 MPI 库，此字段必须设置为 true。

  2. 如需创建作业，请使用 gcloud batch jobs submit 命令。

    gcloud batch jobs submit JOB_NAME \
  --location LOCATION \
  --config JSON_CONFIGURATION_FILE

    替换以下内容：

    • JOB_NAME：作业的名称。
    • LOCATION：作业的位置。
    • JSON_CONFIGURATION_FILE：包含作业配置详细信息的 JSON 文件的路径。

或者，您可以通过执行以下操作来提高 Batch 提供的 MPI 库的性能：

例如，如需通过使用 MPI 并使 1 个任务输出任务组中 3 个任务的主机名的实例模板创建脚本作业，可使用以下代码：

  1. 在当前目录中创建一个名为 example-job-uses-mpi.json 且包含以下内容的 JSON 文件：

    {
    "taskGroups": [
        {
            "taskSpec": {
                "runnables": [
                    {
                        "script": {
                            "text": "google_mpi_tuning --nosmt; google_install_mpi --intel_mpi;"
                        }
                    },
                    { "barrier": {} },
                    {
                        "script": {
                            "text":
                                "if [ $BATCH_TASK_INDEX = 0 ]; then
                                mpirun -hostfile $BATCH_HOSTS_FILE -np 3 hostname;
                                fi"
                        }
                    },
                    { "barrier": {} }
                ]
            },
            "taskCount": 3,
            "taskCountPerNode": 1,
            "requireHostsFile": true,
            "permissiveSsh": true
        }
    ],
    "allocationPolicy": {
        "instances": [
            {
                "instanceTemplate": "example-template-job-uses-mpi"
            }
        ]
    },
    "logsPolicy": {
        "destination": "CLOUD_LOGGING"
    }
}

  2. 运行以下命令：

    gcloud batch jobs submit example-template-job-uses-mpi \
  --location us-central1 \
  --config example-job-uses-mpi.json

API

如需通过 Batch API 创建将 MPI 用于紧密耦合任务的脚本作业，请使用 jobs.create 方法并指定 permissiveSsh、requireHostsFile、taskCount 和 taskCountPerNode 字段。

POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_ID

{
    "taskGroups": [
        {
            "taskSpec": {
                "runnables": [
                    {
                        "script": {
                            "text": "google_mpi_tuning --nosmt; google_install_mpi --intel_mpi;"
                        }
                    },
                    { "barrier": {} },
                    {
                        "script": {
                            SCRIPT
                        }
                    }
                ]
            },
            "taskCount": TASK_COUNT,
            "taskCountPerNode": TASK_COUNT_PER_NODE,
            "requireHostsFile": REQUIRE_HOSTS_FILE,
            "permissiveSsh": PERMISSIVE_SSH
        }
    ]
}

替换以下内容：

  • PROJECT_ID：您的项目 ID。
  • LOCATION：作业的位置。
  • JOB_NAME：作业的名称。
  • SCRIPT：可针对使用 MPI 的工作负载运行的脚本。
  • TASK_COUNT：作业的任务数量。该值必须是介于 1 和每个任务组的任务数限制之间的整数。如需使用 Batch 提供的 MPI 库，此字段是必填字段，且必须设置为 2 或更高版本。
  • TASK_COUNT_PER_NODE：作业可在虚拟机实例上并发运行的任务数量。如需使用 Batch 提供的 MPI 库，此字段是必填字段，并且必须设置为 1，相当于为每个任务运行一个虚拟机实例。
  • REQUIRE_HOSTS_FILE：如果设置为 true，该作业会创建一个文件，列出在任务组中运行的虚拟机实例。文件路径存储在 BATCH_HOSTS_FILE 环境变量中。如需使用 Batch 提供的 MPI 库，此字段必须设置为 true。
  • PERMISSIVE_SSH：设置为 true 时，Batch 会将 SSH 配置为允许在任务组中运行的虚拟机实例之间进行无密码通信。如需使用 Batch 提供的 MPI 库，此字段必须设置为 true。

或者，您可以通过执行以下操作来提高 Batch 提供的 MPI 库的性能：

例如，如需通过使用 MPI 并使 1 个任务输出任务组中 3 个任务的主机名的实例模板创建脚本作业，请使用以下请求：

POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/jobs?job_id=example-template-job-uses-mpi

{
    "taskGroups": [
        {
            "taskSpec": {
                "runnables": [
                    {
                        "script": {
                            "text": "google_mpi_tuning --nosmt; google_install_mpi --intel_mpi;"
                        }
                    },
                    { "barrier": {} },
                    {
                        "script": {
                            "text":
                                "if [ $BATCH_TASK_INDEX = 0 ]; then
                                mpirun -hostfile $BATCH_HOSTS_FILE -np 3 hostname;
                                fi"
                        }
                    },
                    { "barrier": {} }
                ]
            },
            "taskCount": 3,
            "taskCountPerNode": 1,
            "requireHostsFile": true,
            "permissiveSsh": true
        }
    ],
    "allocationPolicy": {
        "instances": [
            {
                "instanceTemplate": "example-template-job-uses-mpi"
            }
        ]
    },
    "logsPolicy": {
        "destination": "CLOUD_LOGGING"
    }
}

其中，PROJECT_ID 是您的项目 ID。

后续步骤