本文档介绍了运行批处理作业的 Compute Engine 虚拟机 (VM) 实例的操作系统 (OS) 环境(启动磁盘和操作系统映像)的相关概念。
作业是通过在其每个虚拟机的启动磁盘上运行指令来执行的。每个启动磁盘都包含引导加载程序、文件系统和操作系统。您可以选择执行以下任一操作,为作业配置虚拟机操作系统环境:
- 如需仅配置启动磁盘上的软件,请指定作业的虚拟机操作系统映像。
- 如需配置启动磁盘的任何属性(包括虚拟机操作系统映像、磁盘大小和/或磁盘类型),请自定义作业的启动磁盘。
以下部分介绍了何时配置操作系统环境、默认操作系统环境、虚拟机操作系统映像选项和启动磁盘选项。
何时配置操作系统环境
请参阅本部分,确定是在创建作业时配置虚拟机操作系统映像和/或启动磁盘,还是使用默认配置。
在以下情况下,请为作业配置虚拟机操作系统映像:
如果可信映像 (
compute.trustedImageProjects
) 政策约束条件阻止您使用默认的虚拟机操作系统映像创建作业。如需详细了解可信映像政策限制条件,请参阅控制对批处理作业虚拟机操作系统映像的访问权限。
如果您不想或无法为作业使用默认的虚拟机操作系统映像。例如,如果您为作业定义的可运行文件需要默认映像不支持的应用,您或许可以指定其他公共虚拟机操作系统映像。或者,如果您想预安装作业所需的应用以缩短运行时间,则可以创建并指定自定义映像。
在以下情况下,请为作业配置启动磁盘:
- 如果您不想或无法为作业使用默认启动磁盘。例如,如果您为作业定义的可运行文件或虚拟机操作系统映像需要在启动磁盘上占用额外的存储空间,那么您可能需要为作业自定义启动磁盘以增加其大小。
如果您仍不确定作业是否需要您配置虚拟机操作系统映像和/或启动磁盘,可以查看以下部分,了解默认配置。此外,您也可以尝试使用默认配置创建和运行作业。如果作业在默认配置下失败,您可以尝试通过问题排查来确定问题是由虚拟机操作系统映像还是启动磁盘导致的。
否则,如果您不需要也不想为作业配置虚拟机操作系统映像和/或启动磁盘,请将这些属性保持未定义状态,以使用默认配置。
默认操作系统环境
请参阅本部分,了解作业虚拟机操作系统映像和启动磁盘的默认配置。例如,在确定如何为作业配置操作系统环境时,您可以将默认配置用作参考。
如果您创建作业时未定义虚拟机操作系统映像,则作业默认使用以下某个虚拟机操作系统映像:
- 如果作业只有容器可运行项,则作业会使用最新版本的批处理 Container-Optimized OS (COS) 映像。
- 否则,作业将使用最新版本的批处理 Debian 映像。
如果您创建作业时未定义启动磁盘的其他属性,则作业会默认使用以下选项:
永久性磁盘类型:启动磁盘的默认永久性磁盘类型为
pd-balanced
。size:每个虚拟机的启动磁盘的默认大小由 \({defaultBootDiskSize}\)的以下公式决定。此外,默认大小会四舍五入,至少为 30 GB,最多为 10,000 GB。
\[{defaultBootDiskSize}={reservedSize}+({taskSize}*{parallelTasksPerVm})\]
此公式的值如下:
\({reservedSize}\):为虚拟机的必需软件(例如虚拟机操作系统映像)预留的大小(以 GB 为单位)。对于默认的启动磁盘大小,批处理会预留 10 GB。
\({taskSize}\):每个任务的启动磁盘大小(以 GB 为单位),通过转换每个任务的启动磁盘大小 (
bootDiskMib
) 字段的单位来确定。\({parallelTasksPerVM}\):虚拟机上可以同时运行的任务数量上限。如需了解详情,请参阅 \({parallelTasksPerVM}\)的公式。
接口:系统会根据作业虚拟机的机器类型自动选择 NVMe 或 SCSI 接口。在定义作业要使用的资源类型时,您可以选择指定机器类型。如需了解每种机器类型的默认接口,请参阅 Compute Engine 文档中的选择接口。
虚拟机操作系统映像选项
以下部分介绍了适用于批处理的虚拟机操作系统映像选项,包括批处理作业可以支持的所有类型的虚拟机操作系统映像,以及受支持的虚拟机操作系统映像的限制。为作业指定虚拟机操作系统映像时,您可以为限制允许的任何受支持的虚拟机操作系统映像指定映像名称或映像系列。
支持的虚拟机操作系统映像
批处理作业可以支持以下类型的虚拟机操作系统映像:
公共映像:由 Google、开源社区和第三方供应商提供和维护的映像。具体而言,批处理作业可以使用来自批处理或 Compute Engine 的公共映像。
批处理映像:由批处理根据 Compute Engine 操作系统提供和维护的映像,存储在
batch-custom-image
映像项目中,建议用于批处理作业。批处理映像适用于以下操作系统。 在批处理中查看映像系列和映像名称时,操作系统由相应的前缀表示。
批处理 Debian(
batch-debian
前缀):一种基于 Compute Engine 中的 Debian 映像 且针对批处理作业进行了优化的操作系统。对于包含任何脚本可运行对象的作业,此操作系统是默认操作系统。Container-Optimized OS (
batch-cos
前缀):基于 Compute Engine 中的容器优化型操作系统映像的操作系统,专为包含容器的批处理作业进行了优化。对于仅包含容器可运行作业的作业,此操作系统是默认操作系统。批量高性能计算 (HPC) Rocky Linux(
batch-hpc-rocky
前缀):一种基于 Compute Engine 中的 HPC Rocky Linux 映像的操作系统,针对包含 HPC 工作负载的批量作业进行了优化。批处理 CentOS(
batch-centos
前缀):一种基于 Compute Engine 中的 CentOS Linux 映像的操作系统,专为批处理作业进行了优化。
- 批量高性能计算 (HPC) CentOS (
batch-hpc-centos
前缀):一种基于 Compute Engine 中的 HPC CentOS 映像 的操作系统,针对包含 HPC 工作负载的批量作业进行了优化。
如需查看您可以为作业指定的 Batch 中的特定映像名称和系列,请按照相应步骤查看 Batch 中的虚拟机操作系统映像。
Compute Engine 映像:Compute Engine 上提供的公共映像,详见 Compute Engine 文档中的操作系统详情页面。
批处理作业仅支持以下操作系统的正式版 (GA) Compute Engine 映像:
自定义映像:您使用 Compute Engine 创建、拥有并控制访问权限的映像。如需详细了解自定义映像,请参阅 Compute Engine 文档。
虚拟机操作系统映像的限制
作业可以指定的受支持的虚拟机操作系统映像受以下限制:
系统可能不支持标记为已弃用的批量图片。批处理映像支持的最短生命周期是以下日期中最早的日期:
- 图片的开始日期之后 60 天。批量映像的开始日期会在映像名称中显示,例如
batch-cos-stable-official-20230719-00-p00
映像的开始日期为 2023 年 7 月 19 日 (20230719
)。 - 基本 Compute Engine 操作系统版本被弃用的日期。 Compute Engine 文档的操作系统详细信息页面列出了每个 Compute Engine 操作系统版本的弃用日期。
- 图片的开始日期之后 60 天。批量映像的开始日期会在映像名称中显示,例如
某些作业配置需要对映像进行外部访问。具体而言,当作业没有外部访问权限且不允许通过 Cloud NAT 或专用 Google 访问通道进行访问时,仅支持以下映像:
- 对于使用 GPU 且仅使用容器可运行项的作业,仅支持默认映像(最新的批处理 Container-Optimized OS 映像)。
- 否则,作业仅支持批处理映像。
如果启用了可信映像政策限制,您将无法使用可信映像政策不允许的任何虚拟机操作系统映像。
项目、文件夹或组织的管理员可以选择配置可信映像政策限制,以限制可用于创建启动磁盘的虚拟机操作系统映像。例如,您可以使用“受信任映像”政策约束条件来要求用户创建的虚拟机包含符合您的政策或安全要求的获准软件。如需了解详情,请参阅控制对批处理 VM 操作系统映像的访问权限。
作业的虚拟机操作系统映像必须安装其启动磁盘接口和任何永久性磁盘存储卷的驱动程序。大多数公共映像都会自动安装 NVMe 和 SCSI 驱动程序,包括所有批处理映像。
您无法配置永久性磁盘的接口,因此虚拟机操作系统映像需要默认接口的驱动程序。
如果作业指定的任何虚拟机操作系统映像既不是 Batch 映像,也不是基于 Batch 映像的自定义映像,则 Batch 会在作业的虚拟机启动后在其上安装所需的软件包。这些必需软件包可能会因不同的作业配置而异,并且会随时间而变化,Batch 需要这些软件包才能运行作业。
启动磁盘选项
本部分介绍了适用于批处理的启动磁盘类型和大小选项。为作业自定义启动磁盘时,您可以指定虚拟机操作系统映像、类型和/或大小。如需了解如何指定虚拟机操作系统映像,请改为参阅本文档中的虚拟机操作系统映像选项。
对于启动磁盘类型,批处理支持 Compute Engine 文档中的所有永久性磁盘类型。
对于启动磁盘大小,批处理支持 Compute Engine 文档中满足以下要求的所有永久性磁盘大小和增量:
对于批处理作业,启动磁盘的大小不得低于 30 GB。
为了让批处理作业正常运行,启动磁盘的大小必须足够大,能够分配作业的虚拟机操作系统映像以及在每个虚拟机上运行的任务。例如,请参阅本文档中的默认启动磁盘大小的公式。
后续步骤
- 详细了解作业的操作系统环境:
- 或者,如需创建使用默认操作系统环境的作业,请参阅创建和运行基本作业。