Dataproc 自动选择可用区功能

创建 Dataproc 集群时，集群资源会使用基于 Compute Engine 区域的区域性端点。选择区域时，您可以选择该区域内的可用区，也可以省略可用区，以便让 Dataproc 自动选择可用区功能在您选择的区域中为您选择可用区。选择可用区后，该集群的所有节点都将部署到该可用区。

自动预留可用区和资源

自动选择可用区优先在具有资源预留的可用区中创建集群，如下所示：

  • 如果预留的集群资源可以通过预留资源来完全满足，并且某个可用区中的按需资源（如有必要），自动选择可用区将会使用预留的按需资源，并在该可用区中创建集群。

  • 自动选择可用区功能会根据可用区中的 CPU 核心总数 (vCPU) 预留容量来确定可用区的优先级。

    示例：集群创建请求指定了 20 个 n2-standard-2 和 1 个 n2-standard-64（请求的 40 个 + 64 个 vCPUs）。自动选择可用区功能会根据可用区中可用的 vCPU 预留总数，优先选择以下可用区：

    1. zone-c 个可用预留：3 个n2-standard-2和 1 个n2-standard-64 (70 vCPUs)
    2. zone-b 个可用预留：1 个n2-standard-64 (64vCPUs)

    3. zone-a 个可用预留：25 n2-standard-2 (50 vCPUs)

      假设上述每个地区都有额外的按需 vCPU 资源和足以满足集群请求的其他资源，“自动选择可用区”功能将选择 zone-c 来创建集群。

  • 如果可用区中的预留和按需资源无法完全满足请求的集群资源，则自动选择可用区将使用按需资源在最有可能满足请求的可用区中创建集群。

使用自动选择可用区功能

控制台

如需创建使用自动选择可用区功能的 Dataproc 集群，请执行以下操作：

gcloud 命令

如需创建使用自动选择可用区功能的 Dataproc 集群，请使用 gcloud dataproc 集群创建命令。将 --region 标志设置为某个区域，并省略 --zone 标志（或将该标志留空：--zone= 或 zone=""）。

gcloud dataproc clusters create cluster-name \
    --region=region \
    --zone="" \
    other args ...

REST API

如需创建使用自动选择可用区功能的 Dataproc 集群，请构建 JSON clusters.create API 请求，并将 gceClusterConfig.zoneUri 字段留空。在 REST 端点 https://dataproc.googleapis.com/v1/projects/projectId/regions/region/clusters 中，插入区域名称。Dataproc 自动选择可用区功能将为指定区域内的集群选择一个可用区。

将短资源名称与自动选择可用区功能搭配使用：在 自动选择可用区 Placement REST API 集群创建请求中指定资源 URI（例如 machineTypeUri 或 acceleratorTypeUri）时，请使用不带可用区规范的短资源名称，例如“n1-standard-2”或“nvidia-tesla-t4”。