Dataproc 永久性启动磁盘

您可以选择标准、SSD、平衡永久性磁盘或Hyperdisk Balanced 作为 Dataproc 集群节点的启动磁盘。

为集群节点选择永久性启动磁盘类型

使用 Google Cloud 控制台、Google Cloud CLI 或 Dataproc API 创建集群时，您可以选择永久性启动磁盘类型。

控制台

您可以在 Google Cloud 控制台的 Dataproc 创建集群页面上的配置节点面板中创建集群，并为管理器（主节点）、主要工作器和辅助工作器集群节点选择标准、SSD、平衡永久性、或 Hyperdisk Balanced 启动磁盘。

gcloud CLI

您可以将 gcloud dataproc clusters create 命令与 --master-boot-disk-type、--worker-boot-disk-type 和 --secondary-worker-boot-disk-type 标志结合使用，创建集群并为管理器（主节点）、主要工作器和辅助工作器集群节点选择标准、SSD、平衡永久性启动磁盘或 Hyperdisk Balanced。

Dataproc 集群管理器（主节点）和主要工作器节点的默认永久性启动磁盘类型为 pd-standard。如果虚拟机机器类型仅支持将 Hyperdisk 用作启动磁盘，则默认启动磁盘为 hyperdisk-balanced。集群辅助工作器节点的默认永久性启动磁盘类型是主要工作器节点的永久性启动磁盘类型。

您可以将值 pd-standard、pd-ssd、pd-balanced 或 hyperdisk-balanced 传递给 --master-boot-disk-type、--worker-boot-disk-type 和 --secondary-worker-boot-disk-type 标志。您可以对任何集群节点类型设置任何有效的磁盘类型值。

示例：

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    --secondary-worker-boot-disk-type=pd-standard \
    other args ...

p

您可以使用 --master-boot-disk-size、--worker-boot-disk-size 和 --secondary-worker-boot-disk-size 标志设置永久性启动磁盘的大小。

REST API

Dataproc 集群管理器（主节点）和主要工作器节点的默认启动磁盘类型为 pd-standard。如果虚拟机机器类型仅支持将 Hyperdisk 用作启动磁盘，则默认启动磁盘为 hyperdisk-balanced。辅助工作器节点的默认启动磁盘类型是主要工作器节点的启动磁盘类型。

您可以在作为 cluster.create API 请求的一部分的 masterConfig、workerConfig 和 secondaryWorkerConfig 的 InstanceGroupConfig.DiskConfig.bootDiskType 字段中设置 pd-standard、pd-ssd、pd-balanced 或 hyperdisk-balanced 值。您可以对任何集群节点类型设置任何有效的启动磁盘类型值。

注意：请使用主节点、工作器或辅助工作器配置中的 InstanceGroupConfig.DiskConfig.bootDiskSizeGb 字段设置每个节点启动磁盘的大小。

Hyperdisk 设置

创建集群时，如果将 hyperdisk-balanced 用作 Dataproc 集群节点的启动磁盘，您可以设置预配 IOPS 和预配吞吐量。

控制台

在 Google Cloud 控制台的 Dataproc 创建集群页面上的配置节点面板中，Hyperdisk Balanced 处于选中状态作为管理器（主节点）和主要工作器集群节点的默认主要启动磁盘类型。您可以设置 IOPS 和吞吐量，也可以接受默认值。

gcloud CLI

您可以将 gcloud dataproc clusters create 命令与 --master-boot-disk-provisioned-iops、--worker-boot-disk-provisioned-iops、--master-boot-disk-provisioned-throughput 和 --worker-boot-disk-provisioned-throughput 标志结合使用，为使用 hyperdisk-balanced 启动磁盘的集群节点设置预配 IOPS 和预配吞吐量。

示例：

  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...
  

辅助工作器使用主要工作器启动磁盘设置进行配置

REST API

您可以使用管理器（主节点）和工作器配置的 InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops 和 InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput 字段为使用 Hyperdisk 启动磁盘的集群节点设置预配 IOPS 和预配吞吐量。