使用映像流式传输缩短容器启动时间

本文档介绍如何使用映像流式传输将容器映像拉取到 Batch 容器作业中。

借助映像流式传输，Batch 作业无需等待容器映像下载完毕即可初始化，从而带来以下好处：

  • 缩短了拉取大型映像时的延迟时间
  • 更快开始执行作业

准备工作

  1. 如果您之前未使用过 Batch，请查看开始使用 Batch 并完成项目和用户的前提条件，以启用 Batch。

  2. 如需获得创建作业所需的权限，请让您的管理员为您授予以下 IAM 角色：

    如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

    您也可以通过自定义角色或其他预定义角色来获取所需的权限。

  3. 如果您尚未这样做，请运行以下命令来启用 Container File System API：

    gcloud services enable containerfilesystem.googleapis.com
  4. 如果您的容器映像受 VPC Service Controls 保护，请更新服务边界以添加 containerfilesystem.googleapis.com。

限制

批量映像流式传输具有以下限制：

  • Batch 仅支持对存储在 Artifact Registry 中的容器映像进行映像流式传输。如果您目前使用 Container Registry 管理容器映像，则可以改换为 Artifact Registry。
  • 您必须在与 Artifact Registry 中存储容器映像的位置相同的位置运行 Batch 作业的虚拟机。
  • 不支持使用 Docker 映像清单版本 2、架构 1 的容器。
  • 使用映像流式传输时，容器可运行对象仅支持以下字段：
    • imageUri
    • commands
    • entrypoint
    • volumes
    • enableImageStreaming
  • 不支持具有空层或重复层的容器映像。

创建使用映像流式传输的作业

通过执行以下操作，创建使用映像流式传输的 Batch 容器作业：

使用 Google Cloud CLI 或 REST API 创建容器作业。如需为可运行的容器启用映像流式传输，请将 enableImageStreaming 字段设置为 true，并将 imageUri 字段设置为存储在 Artifact Registry 位置中的映像，该位置包含作业虚拟机的所在位置。

"container": {
    ...
    "enableImageStreaming": true
        }

例如，使用映像流式传输的作业的 JSON 配置文件类似于以下内容：

{
    "taskGroups": [
        {
            "taskCount": "1",
            "taskCountPerNode": "1",
            "taskSpec": {
                "runnables": [
                    {
                        "container": {
                            "imageUri": "LOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY/IMAGE:TAG",
                            "enableImageStreaming": true
                        }
                    }
                ]
            }
        }
    ],
    "allocationPolicy": {
        "instances": [
            {
                "policy": {
                    "machineType": "e2-standard-4"
                }
            }
        ]
    },
    "logsPolicy": {
        "destination": "CLOUD_LOGGING"
    }
}

替换以下值：

  • LOCATION：存储映像的制品库的单区域或多区域位置，例如 us-east1 或 us。容器的位置必须与 Batch 作业的虚拟机的位置相同。
  • PROJECT-ID：包含容器映像的项目。如果您的项目 ID 包含英文冒号 (:)，请参阅网域级项目。
  • REPOSITORY：存储映像的代码库的名称。
  • IMAGE：容器映像的名称。
  • TAG：应用于映像的标记。

后续步骤