如何创建 Dataproc 集群
要求:
名称:集群名称必须以小写字母开头,后跟向上 最多 51 个小写字母、数字和连字符,但不能以连字符结尾。
集群区域:您必须为集群环境指定 Compute Engine 区域 (例如
us-east1
或europe-west1
) 隔离集群资源,如存储在 该区域内的 Cloud Storage 中。连接:Compute Engine 虚拟机实例 Dataproc 集群中的虚拟机 (VM),由主实例和工作器虚拟机组成, 完整的内部 IP 网络跨连接。通过
default
VPC 网络为此 (请参阅 Dataproc 集群网络配置)。
gcloud
要在命令行中创建 Dataproc 集群,请运行 gcloud dataproc clusters create 命令行中的命令 Cloud Shell。
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION
该命令将使用默认 Dataproc 服务设置创建集群 适用于主实例和工作器虚拟机实例、磁盘大小和类型、 网络类型、部署集群的区域和可用区,以及其他集群 设置。要了解如何使用命令行标记自定义集群设置,请参阅 gcloud dataproc clusters create 命令。
使用 YAML 文件创建集群
- 运行以下
gcloud
命令以导出配置 现有 Dataproc 集群的cluster.yaml
文件。gcloud dataproc clusters export EXISTING_CLUSTER_NAME \ --region=REGION \ --destination=cluster.yaml
- 通过导入 YAML 文件配置来创建新集群。
gcloud dataproc clusters import NEW_CLUSTER_NAME \ --region=REGION \ --source=cluster.yaml
注意:在执行导出操作期间,针对集群的字段, 例如集群名称、仅限输出的字段和自动应用的标签, 已过滤。在用于创建集群的导入的 YAML 文件中,不允许使用这些字段。
REST
本部分介绍如何创建采用所需值和默认配置(1 个主节点,2 个工作器节点)的集群。
在使用任何请求数据之前,请先进行以下替换:
- CLUSTER_NAME:集群名称
- PROJECT:Google Cloud 项目 ID
- REGION:可用的 Compute Engine 将在其中创建集群的区域。
- ZONE:可选的区域 将在其中创建集群的选定区域内
HTTP 方法和网址:
POST https://dataproc.googleapis.com/v1/projects/PROJECT/regions/REGION/clusters
请求 JSON 正文:
{ "project_id":"PROJECT", "cluster_name":"CLUSTER_NAME", "config":{ "master_config":{ "num_instances":1, "machine_type_uri":"n1-standard-2", "image_uri":"" }, "softwareConfig": { "imageVersion": "", "properties": {}, "optionalComponents": [] }, "worker_config":{ "num_instances":2, "machine_type_uri":"n1-standard-2", "image_uri":"" }, "gce_cluster_config":{ "zone_uri":"ZONE" } } }
如需发送您的请求,请展开以下选项之一:
您应该收到类似以下内容的 JSON 响应:
{ "name": "projects/PROJECT/regions/REGION/operations/b5706e31......", "metadata": { "@type": "type.googleapis.com/google.cloud.dataproc.v1.ClusterOperationMetadata", "clusterName": "CLUSTER_NAME", "clusterUuid": "5fe882b2-...", "status": { "state": "PENDING", "innerState": "PENDING", "stateStartTime": "2019-11-21T00:37:56.220Z" }, "operationType": "CREATE", "description": "Create cluster with 2 workers", "warnings": [ "For PD-Standard without local SSDs, we strongly recommend provisioning 1TB ..."" ] } }
控制台
打开 Dataproc 创建集群 页面,然后 在 Compute Engine 行的集群中点击创建 参阅在 Compute Engine 上创建 Dataproc 集群页面。选择“设置集群”面板,其中的字段填充默认值。您可以选择每个面板,然后确认或更改默认值以自定义您的集群。
单击创建以创建集群。集群名称显示在 集群页面打开后,其状态会更新为“Running after” 预配集群点击集群名称以打开集群详情 该页面可以检查实例的作业、实例和配置设置, 并连接到集群上运行的网页界面。