扩缩集群

在创建 Dataproc 集群后,您可以通过增加或减少集群中的主工作器或辅助工作器节点的数量(横向扩缩)来调整(“扩缩”)集群。即使作业正在 Dataproc 集群上运行,您也可以随时扩缩该集群。您无法更改现有集群的机器类型(纵向扩缩)。如需纵向扩缩,请使用受支持的机器类型创建集群,然后将作业迁移到新集群。

为何要扩缩 Dataproc 集群?

  1. 增加工作器的数量,以使作业更快运行
  2. 减少工作器的数量,以节省资金(请参阅安全停用,通过此方式缩小集群可避免丢失正在进行的工作)。
  3. 增加节点数量以扩展可用的 Hadoop 分布式文件系统 (HDFS) 存储空间

由于集群可以扩缩多次,因此,您可能需要在某个时间增加/减小集群大小,日后再减小/增加其大小。

使用扩缩功能

您可以通过三种方式扩缩您的 Dataproc 集群:

  1. 使用 Cloud SDK 中的 gcloud 命令行工具。
  2. 修改 Google Cloud Console 中的集群配置。
  3. 使用 REST API

添加到集群的新工作器将使用与现有工作器相同的机器类型。例如,如果集群是通过使用 n1-standard-8 机器类型的工作器创建的,则新工作器也将使用 n1-standard-8 机器类型。

您可以扩缩主要工作器或辅助(抢占式)工作器的数量,或者同时扩缩两者。例如,如果您只扩缩抢占式工作器的数量,主要工作器的数量将保持不变。

gcloud

要使用 gcloud dataproc clusters update 来扩缩集群,请运行以下命令。
gcloud dataproc clusters update cluster-name \
    --region=region \
    [--num-workers and/or --num-secondary-workers]=new-number-of-workers
其中 cluster-name 是要更新的集群的名称,new-number-of-workers 是更新后的主工作器节点数和/或辅助工作器节点数。例如,要扩缩名为“dataproc-1”的集群并让该集群使用五个主要工作器节点,请运行以下命令。
gcloud dataproc clusters update dataproc-1 \
    --region=region \
    --num-workers=5
...
Waiting on operation [operations/projects/project-id/operations/...].
Waiting for cluster update operation...done.
Updated [https://dataproc.googleapis.com/...].
clusterName: my-test-cluster
...
  masterDiskConfiguration:
    bootDiskSizeGb: 500
  masterName: dataproc-1-m
  numWorkers: 5
  ...
  workers:
  - my-test-cluster-w-0
  - my-test-cluster-w-1
  - my-test-cluster-w-2
  - my-test-cluster-w-3
  - my-test-cluster-w-4
...

REST API

请参阅 clusters.patch

示例

PATCH /v1/projects/project-id/regions/us-central1/clusters/example-cluster?updateMask=config.worker_config.num_instances,config.secondary_worker_config.num_instances
{
  "config": {
    "workerConfig": {
      "numInstances": 4
    },
    "secondaryWorkerConfig": {
      "numInstances": 2
    }
  },
  "labels": null
}

控制台

创建集群后,您可以通过以下方式扩缩集群:在 Cloud Console 集群页面中打开集群的集群详细信息页面,然后点击配置标签页上的修改按钮。
工作器节点和/或抢占式工作器节点的数量输入一个新值(在下面的屏幕截图中分别更新为“5”和“2”)。
点击保存以更新集群。

安全停用

当您缩小集群时,正在进行的工作可能未完成便会停止。如果您使用的是 Dataproc 版本 1.2 或更高版本,则可以使用“安全停用功能”,其中整合了 YARN 节点的安全停用,可以先完成工作器上正在进行的工作,然后再从 Cloud Dataproc 集群中移除相应工作器。

安全停用和辅助工作器

即使集群扩缩操作已标记为完成,抢占式(辅助)工作器组仍会继续预配或删除工作器,以便达到预期的大小。如果尝试安全停用辅助工作器并收到类似于以下内容的错误消息:

“不能在 Dataproc 之外修改辅助工作组。如果您最近创建或更新了此集群,请在安全停用之前等待几分钟,以便所有辅助实例加入或离开集群。 预期的辅助工作器组大小:x,实际大小:y”,

请等待几分钟,然后再次发出安全停用请求。

另请注意:

  • 您可以随时强制停用抢占式工作器。
  • 您可以随时安全停用主要工作器。

使用安全停用

Dataproc 安全停用功能整合了 YARN 节点的安全停用,可以先完成工作器上正在进行的工作,然后再从 Cloud Dataproc 集群中移除相应工作器。系统默认会停用安全停用功能。要启用该功能,您可以在更新集群以移除一个或多个工作器时设置超时值。

gcloud

在更新集群以移除一个或多个工作器时,请使用带有 --graceful-decommission-timeout 标志的 gcloud dataproc clusters update 命令。超时(字符串)值可以为“0s”(默认值;强制停用,并非安全停用)或相对于当前时间的正时长(例如“3s”)。 最长时长为 1 天。
gcloud dataproc clusters update cluster-name \
    --region=region \
    --graceful-decommission-timeout="timeout-value" \
    [--num-workers and/or --num-secondary-workers]=decreased-number-of-workers \
    ... other args ...

REST API

请参阅 clusters.patch.gracefulDecommissionTimeout。超时(字符串)值可以为“0”(默认值;强制停用,并非安全停用)或以秒为单位的时长(例如,“3s”)。最长时长为 1 天。

控制台

创建集群后,您可以通过以下方式选择安全停用集群:在 Cloud Console集群页面中打开集群的集群详细信息页面,然后点击配置标签页上的修改按钮。
安全停用部分中,选中“使用安全停用”复选框,然后选择超时值。
点击保存以更新集群。