使用模板更新 Dataproc 集群
本页面介绍如何使用 Google API Explorer 模板更新 Dataproc 集群,以更改集群中的工作器数量。当需要额外的工作器来处理更大的作业时,纵向扩容集群以包含更多工作器是一项常见的任务。
如需了解将集群更新为 Dataproc 集群的其他方法,请参阅:
开始前须知
本快速入门假定您已创建 Dataproc 集群。您可以使用 API Explorer、Google Cloud Console、gcloud
CLI gcloud 命令行工具或快速入门:使用 Cloud 客户端库创建集群。
更新集群
要更新集群中的工作器数量,请填写并执行 Google API Explorer 试用此 API 模板。
请求参数:
- 插入您的 projectId。
- 指定集群所在的地区(确认或替换“us-central1”)。您的集群地区列在 Cloud Console 中的 Dataproc 集群页面上。
- 指定要更新的现有集群的 clusterName(确认或替换“example-cluster”)。
- updateMask:
<config.worker_config.num_instances&><t.这是要更新的
numInstances
参数的集群资源的 JSON 路径(请参阅请求正文说明)。
请求正文:
- config.workerConfig.numInstances:即 <3>:新的工作器数量。您可以更改此值,以增加或增加工作器数量。例如,如果您的标准集群具有 2 个工作器的默认数量,则指定“3”会增加 1 个工作器;指定“4”会增加 2 个工作器。 标准 Dataproc 集群必须至少有 2 个工作器。
点击执行。第一次运行 API 模板时,系统可能会要求您选择并登录 Google 帐号,然后授权 Google API Explorer 访问您的帐号。如果请求成功,JSON 响应会显示集群更新正等待执行。
如需确认集群中的工作器数量已更新,请打开 Cloud Console 中的 Dataproc 集群页面,然后查看集群的工作器节点总数列。在集群更新完成后,您可能需要点击页面顶部的“刷新”以查看更新后的值。
清理
为避免系统因本页面使用的资源向您的 Google Cloud 帐号收取费用,请按照以下步骤操作。
- 如果您不需要集群来浏览其他快速入门或运行其他作业,请使用 API Explorer、Google Cloud Console、
gcloud
CLI gcloud 命令行工具或快速入门:使用 Cloud 客户端库删除集群。
后续步骤
您可以使用此快速入门模板将集群恢复到以前的
workerConfig.numInstances
值。了解如何编写和运行 Scala 作业。