使用模板更新 Dataproc 集群

本页面介绍如何使用 Google APIs Explorer 模板更新 Dataproc 集群,以更改集群中的工作器数量。当需要额外的工作器以处理较大的作业时,扩缩集群以添加更多工作器是一种常见的任务。

如需了解更新 Dataproc 集群的其他方法,请参阅:

准备工作

本快速入门假定您已经创建了一个 Dataproc 集群。 您可以使用 API ExplorerGoogle Cloud 控制台、gcloud CLI gcloud 命令行工具或快速入门:使用 Cloud 客户端库来创建集群。

更新集群

要更新集群中的工作器数量,请填写并执行 Google API Explorer 试用此 API 模板。

  1. 请求参数

    1. 插入您的 projectId
    2. 指定您的集群所在的区域(确认或替换“us-central1”)。您的集群区域会列在 Google Cloud 控制台的 Dataproc 集群页面上。
    3. 指定要更新的现有集群的 clusterName(确认或替换“example-cluster”)。
    4. updateMask:“config.worker_config.num_instances”这是要更新的 numInstances 参数的 Cluster 资源的相对 JSON 路径(请参阅请求正文说明)。
  2. 请求正文:

    1. config.workerConfig.numInstances:(“3”:新的工作器数量)。您可以更改此值以减少或增加要添加的工作器。例如,如果您的标准集群的默认工作器数量为 2,则指定“3”将添加 1 个工作器;指定“4”将添加 2 个工作器。一个标准 Dataproc 集群必须至少有 2 个工作器。
  3. 点击执行。首次运行 API 模板时,系统可能会要求您选择并登录您的 Google 账号,然后授权 Google API Explorer 访问您的账号。如果请求成功,JSON 响应会显示集群正在等待更新。

  4. 如需确认集群中的工作器数量已更新,请在 Google Cloud 控制台中打开 Dataproc 集群页面,然后查看集群的工作器节点总数列。集群更新完成后,您可能需要点击页面顶部的“刷新”以查看更新后的值。

清理

为避免因本页中使用的资源导致您的 Google Cloud 账号产生费用,请按照以下步骤操作。

  1. 如果您不需要使用集群来浏览其他快速入门或运行其他作业,请使用 API ExplorerGoogle Cloud 控制台、gcloud CLI gcloud 命令行工具或使用 Cloud 客户端库的快速入门来删除集群。

后续步骤