Dataproc 自动选择地区功能

创建 Dataproc 集群时，集群资源会使用 区域端点，具体取决于 Compute Engine 可用区。 在选择区域时，您可以选择该区域内的可用区，也可以省略 可用区，以便 Dataproc 自动选择可用区功能为您选择可用区 您选择的区域选择可用区后，该集群的所有节点 部署到该可用区

自动预留可用区和资源

自动可用区会优先在有资源预留的可用区中创建集群，如下所示：

  • 如果预留的集群资源可以完全满足所请求的集群资源，且 如有必要，可用区中的按需资源，自动选择可用区将消耗 预留资源和按需资源，然后在该可用区中创建集群。

  • 自动选择可用区会根据 CPU 核心总数 (vCPU) 优先选择可用区 一个可用区中的预留

    示例：集群创建请求指定了 20 个 n2-standard-2 和 1 个 n2-standard-64 （请求 40 + 64 vCPUs）。自动选择可用区功能会优先选择以下区间 以便根据可用区中可用的 vCPU 预留总数进行选择：

    1. zone-c 项可用的预订：3 个n2-standard-2和 1 个n2-standard-64（70 个 vCPUs）
    2. zone-b 可用预订：1 n2-standard-64（64 vCPUs）

    3. zone-a 项可用预订：25 n2-standard-2 (50 vCPUs)

      假设上述每个可用区都有足够满足集群请求的额外按需 vCPU 和其他资源，Auto Zone 将选择 zone-c 来创建集群。

  • 如果预留加号无法完全满足请求的集群资源 按需使用资源，自动选择可用区功能将在可用区内创建集群 最有可能满足请求的资源。

使用自动选择地区功能

控制台

如需创建使用自动选择区域功能的 Dataproc 集群，请执行以下操作：

  • 在 Google Cloud 控制台中，打开 Dataproc 的在 Compute Engine 上创建 Dataproc 集群页面。选中设置集群面板。
  • 在位置部分中：
    • 为您的集群选择一个区域。
    • 在可用区下，选择“任意”。

gcloud 命令

如需创建使用自动选择区域功能的 Dataproc 集群，请使用 gcloud dataproc 集群创建命令。将 --region 标志设置为用于某个地区，并忽略 --zone 标志（或将该标志留空：--zone= 或 zone=""）。

gcloud dataproc clusters create cluster-name \
    --region=region \
    --zone="" \
    other args ...

REST API

如需创建使用自动选择区域功能的 Dataproc 集群，请构建 JSON clusters.create API 请求，并将 gceClusterConfig.zoneUri 字段留空。在 REST 端点中 https://dataproc.googleapis.com/v1/projects/projectId/regions/region/clusters，请插入区域名称。Dataproc 自动区域选择功能将为指定区域内的集群选择一个区域。

在自动选择可用区时使用简短的资源名称：在指定资源 URI（例如 machineTypeUri 或 在自动选择可用区位置 REST API 集群创建请求中，使用 acceleratorTypeUri。 使用不带可用区规范的简短资源名称，例如 “n1-standard-2”或“nvidia-tesla-t4”。