创建 Dataproc 集群时,集群资源会使用 区域端点,基于 Compute Engine 可用区。 在选择区域时,您可以选择该区域内的可用区,也可以省略 可用区,以便 Dataproc 自动选择可用区功能为您选择可用区 您选择的区域选择可用区后,该集群的所有节点 部署到该可用区
自动预留可用区和资源
自动选择可用区功能会优先在具备以下条件的地区中创建集群: 资源预留, 如下所示:
如果预留的集群资源可以完全满足所请求的集群资源,且 如有必要,可用区中的按需资源,自动选择可用区将消耗 预留资源和按需资源,然后在该可用区中创建集群。
自动选择可用区会根据 CPU 核心总数 (
vCPU
) 优先选择可用区 一个可用区中的预留示例:集群创建请求指定了 20 个
n2-standard-2
和 1 个n2-standard-64
(请求 40 + 64vCPUs
)。自动选择可用区功能会优先选择以下区间 以便根据可用区中可用的 vCPU 预留总数加以选择:zone-c
项可用的预订:3 个n2-standard-2
和 1 个n2-standard-64
(70 个vCPUs
)zone-b
项可用预订:1n2-standard-64
(64vCPUs
)zone-a
项可用预订:25n2-standard-2
(50vCPUs
)假设上述每个可用区都有额外的按需
vCPU
和其他 满足集群请求的充足资源,自动选择可用区 选择zone-c
创建集群。
如果预留加号无法完全满足请求的集群资源 按需使用资源,自动选择可用区功能将在可用区内创建集群 最有可能满足请求的资源。
使用自动选择地区功能
控制台
如需创建使用自动选择可用区功能的 Dataproc 集群,请执行以下操作:
- 在 Google Cloud 控制台中,打开 Dataproc 在 Compute Engine 上创建 Dataproc 集群 页面。已选择设置集群面板。
- 在位置部分:
<ph type="x-smartling-placeholder">
- </ph>
- 为您的集群选择一个区域。
- 在可用区下,选择“不限”。
gcloud 命令
如需创建使用自动选择区域功能的 Dataproc 集群,请使用 gcloud dataproc 集群创建命令。将 --region
标志设置为区域;
省略 --zone
标志(或将标志留空:--zone=
或 zone=""
)。
gcloud dataproc clusters create cluster-name \ --region=region \ --zone="" \ other args ...
REST API
如需创建使用自动选择区域功能的 Dataproc 集群,请构建 JSON clusters.create API 请求,并将 gceClusterConfig.zoneUri 字段留空。在 REST 端点中
https://dataproc.googleapis.com/v1/projects/projectId/regions/region/clusters
,请插入区域名称。Dataproc 自动选择可用区功能将选择
指定区域内集群的可用区。
在自动选择可用区时使用简短的资源名称:在指定资源 URI(例如 machineTypeUri 或 在自动选择可用区位置 REST API 集群创建请求中,使用 acceleratorTypeUri 使用不带可用区规范的简短资源名称,例如 “n1-standard-2”或“nvidia-tesla-t4”。