使用模板更新 Dataproc 集群
本页面介绍如何使用 Google APIs Explorer 模板更新 Dataproc 集群,以更改集群中的工作器数量。当需要额外的工作器以处理较大的作业时,扩缩集群以添加更多工作器是一种常见的任务。
如需了解更新 Dataproc 集群的其他方法,请参阅:
准备工作
本快速入门假定您已经创建了一个 Dataproc 集群。 您可以使用 API Explorer、Google Cloud 控制台、gcloud CLI gcloud 命令行工具或快速入门:使用 Cloud 客户端库来创建集群。更新集群
要更新集群中的工作器数量,请填写并执行 Google API Explorer 试用此 API 模板。
请求参数:
- 插入您的 projectId。
- 指定您的集群所在的区域(确认或替换“us-central1”)。您的集群区域会列在 Google Cloud 控制台的 Dataproc 集群页面上。
- 指定要更新的现有集群的 clusterName(确认或替换“example-cluster”)。
- updateMask:“config.worker_config.num_instances”这是要更新的
numInstances
参数的 Cluster 资源的相对 JSON 路径(请参阅请求正文说明)。
请求正文:
- config.workerConfig.numInstances:(“3”:新的工作器数量)。您可以更改此值以减少或增加要添加的工作器。例如,如果您的标准集群的默认工作器数量为 2,则指定“3”将添加 1 个工作器;指定“4”将添加 2 个工作器。一个标准 Dataproc 集群必须至少有 2 个工作器。
点击执行。首次运行 API 模板时,系统可能会要求您选择并登录您的 Google 账号,然后授权 Google API Explorer 访问您的账号。如果请求成功,JSON 响应会显示集群正在等待更新。
如需确认集群中的工作器数量已更新,请在 Google Cloud 控制台中打开 Dataproc 集群页面,然后查看集群的工作器节点总数列。集群更新完成后,您可能需要点击页面顶部的“刷新”以查看更新后的值。
清理
为避免因本页中使用的资源导致您的 Google Cloud 账号产生费用,请按照以下步骤操作。
- 如果您不需要使用集群来浏览其他快速入门或运行其他作业,请使用 API Explorer、Google Cloud 控制台、gcloud CLI gcloud 命令行工具或使用 Cloud 客户端库的快速入门来删除集群。
后续步骤
您可以使用此快速入门模板将集群恢复到其之前的
workerConfig.numInstances
值。了解如何编写和运行 Spark Scala 作业。