Dataproc 永久性启动磁盘

您可以选择标准、SSD、平衡永久性磁盘或 Hyperdisk Balanced 作为 Dataproc 集群节点的启动磁盘。

为集群节点选择永久性启动磁盘类型

使用 Google Cloud 控制台、Google Cloud CLI 或 Dataproc API 创建集群时，您可以选择永久性启动磁盘类型。

控制台

您可以从 Google Cloud 控制台中 Dataproc 创建集群页面上的配置节点面板创建集群，并为主实例、主工作器和辅助工作器集群节点选择标准、SSD 或平衡持久性启动磁盘。

gcloud CLI

您可以使用 gcloud dataproc clusters create 命令并带有 --master-boot-disk-type、--worker-boot-disk-type 和 --secondary-worker-boot-disk-type 标志，创建集群并为主节点、主工作器节点和辅助工作器节点集群节点选择标准、SSD、平衡永久性启动磁盘或平衡超磁盘。

Dataproc 集群主服务器和主工作器节点的默认永久性启动磁盘类型为 pd-standard。如果虚拟机机器类型仅支持将 Hyperdisk 用作启动磁盘，则默认启动磁盘为 hyperdisk-balanced。集群次要工作器节点的默认永久性启动磁盘类型是主要工作器节点的永久性启动磁盘类型。

您可以将 pd-standard、pd-ssd、pd-balanced 或 hyperdisk-balanced 的值传递给 --master-boot-disk-type、--worker-boot-disk-type 和 --secondary-worker-boot-disk-type 标志。任何集群节点类型都可以设置任何有效的磁盘类型值。

示例： 
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    --secondary-worker-boot-disk-type=pd-standard \
    other args ...
p

REST API

Dataproc 集群主服务器和主工作器节点的默认启动磁盘类型为 pd-standard。如果虚拟机机器类型仅支持将 Hyperdisk 用作启动磁盘，则默认启动磁盘为 hyperdisk-balanced。辅助工作器节点的默认启动磁盘类型为主要工作节点启动磁盘类型。

您可以在 cluster.create API 请求的 masterConfig、workerConfig 和 secondaryWorkerConfig 中的 InstanceGroupConfig.DiskConfig.bootDiskType 字段中设置 pd-standard、pd-ssd、pd-balanced 或 hyperdisk-balanced 值。任何集群节点类型都可以设置任何有效的启动磁盘类型值。

Hyperdisk 设置

创建集群时，如果您选择 hyperdisk-balanced 作为 Dataproc 集群节点的启动磁盘，则可以使用 gcloud CLI 或 Dataproc API 设置预配的 IOPS 和预配的吞吐量设置。

gcloud CLI

使用 gcloud dataproc clusters create 命令的 --master-boot-disk-provisioned-iops、--worker-boot-disk-provisioned-iops、--master-boot-disk-provisioned-throughput 和 --worker-boot-disk-provisioned-throughput 标志，为使用 Hyperdisk Balanced 启动磁盘的集群节点设置预配 IOPS 和预配吞吐量。

示例： 
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...

REST API

使用主实例和工作器配置的 InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops 和 InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput 字段，为使用 Hyperdisk 启动磁盘的集群节点设置预配的 IOPS 和预配的吞吐量。