快速入门:使用模板更新 Dataproc 集群

使用模板更新 Dataproc 集群

本页面介绍如何使用 Google API Explorer 模板更新 Dataproc 集群,以更改集群中的工作器数量。当需要额外的工作器来处理更大的作业时,纵向扩容集群以包含更多工作器是一项常见的任务。

如需了解将集群更新为 Dataproc 集群的其他方法,请参阅:

开始前须知

本快速入门假定您已创建 Dataproc 集群。您可以使用 API ExplorerGoogle Cloud Consolegcloud CLI gcloud 命令行工具或快速入门:使用 Cloud 客户端库创建集群。

更新集群

要更新集群中的工作器数量,请填写并执行 Google API Explorer 试用此 API 模板。

  1. 请求参数

    1. 插入您的 projectId
    2. 指定集群所在的地区(确认或替换“us-central1”)。您的集群地区列在 Cloud Console 中的 Dataproc 集群页面上。
    3. 指定要更新的现有集群的 clusterName(确认或替换“example-cluster”)。
    4. updateMask: <config.worker_config.num_instances&><t.这是要更新的 numInstances 参数的集群资源的 JSON 路径(请参阅请求正文说明)。
  2. 请求正文

    1. config.workerConfig.numInstances:即 <3>:新的工作器数量。您可以更改此值,以增加或增加工作器数量。例如,如果您的标准集群具有 2 个工作器的默认数量,则指定“3”会增加 1 个工作器;指定“4”会增加 2 个工作器。 标准 Dataproc 集群必须至少有 2 个工作器。
  3. 点击执行。第一次运行 API 模板时,系统可能会要求您选择并登录 Google 帐号,然后授权 Google API Explorer 访问您的帐号。如果请求成功,JSON 响应会显示集群更新正等待执行。

  4. 如需确认集群中的工作器数量已更新,请打开 Cloud Console 中的 Dataproc 集群页面,然后查看集群的工作器节点总数列。在集群更新完成后,您可能需要点击页面顶部的“刷新”以查看更新后的值。

清理

为避免系统因本页面使用的资源向您的 Google Cloud 帐号收取费用,请按照以下步骤操作。

  1. 如果您不需要集群来浏览其他快速入门或运行其他作业,请使用 API ExplorerGoogle Cloud Consolegcloud CLI gcloud 命令行工具或快速入门:使用 Cloud 客户端库删除集群。

后续步骤

  • 您可以使用此快速入门模板将集群恢复到以前的 workerConfig.numInstances 值。

  • 了解如何编写和运行 Scala 作业