Dataproc 開機磁碟

您可以選取標準、SSD、平衡型永久磁碟Google Cloud Hyperdisk Balanced,做為 Dataproc 叢集節點的開機磁碟。

為叢集節點選取永久開機磁碟類型

使用Google Cloud 控制台、Google Cloud CLI 或 Dataproc API 建立叢集時,您可以選取永久開機磁碟類型。

控制台

您可以在 Google Cloud 主控台的 Dataproc「建立叢集」頁面中,透過「設定節點」面板建立叢集,並為管理員 (主要)、主要工作站和次要工作站叢集節點選取標準、SSD、平衡型永久磁碟或 Hyperdisk Balanced 開機磁碟。

gcloud CLI

您可以使用 gcloud dataproc clusters create 指令,搭配 --master-boot-disk-type--worker-boot-disk-type--secondary-worker-boot-disk-type 旗標,為管理員 (主要)、主要工作站和次要工作站叢集節點建立叢集,並選取標準、SSD、平衡永久開機磁碟或 Hyperdisk Balanced

Dataproc 叢集管理員 (主要) 和主要工作站節點的預設永久開機磁碟類型為 pd-standard。如果 VM機器類型僅支援 Hyperdisk Balanced 做為開機磁碟,則預設開機磁碟為 hyperdisk-balanced。叢集次要工作節點的預設永久開機磁碟類型,是主要工作節點的永久開機磁碟類型。

您可以將 pd-standardpd-ssdpd-balancedhyperdisk-balanced 的值傳遞至 --master-boot-disk-type--worker-boot-disk-type--secondary-worker-boot-disk-type 標記。您可以在任何叢集節點類型上設定任何有效的磁碟類型值。

範例:
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    --secondary-worker-boot-disk-type=pd-standard \
    other args ...
p

REST API

Dataproc 叢集管理員 (主要) 和主要工作站節點的預設開機磁碟類型為 pd-standard。如果 VM 機器類型僅支援 Hyperdisk Balanced 做為開機磁碟,則預設開機磁碟為 hyperdisk-balanced次要工作站節點的預設開機磁碟類型為主要工作站節點開機磁碟類型。

您可以在 masterConfigworkerConfigsecondaryWorkerConfigInstanceGroupConfig.DiskConfig.bootDiskType 欄位中,將值設為 pd-standardpd-ssdpd-balancedhyperdisk-balanced,做為 cluster.create API 要求的一部分。您可以在任何叢集節點類型上設定任何有效的開機磁碟類型值。

Hyperdisk 設定

使用 Hyperdisk Balanced 磁碟區做為 Dataproc 叢集節點的開機磁碟建立叢集時,您可以設定佈建的 IOPS 和輸送量

控制台

在 Google Cloud 控制台的 Dataproc「建立叢集頁面中,從「設定節點」面板選取「Hyperdisk Balanced」,做為管理員 (主要) 和主要工作站叢集節點的預設主要開機磁碟類型。您可以設定 IOPS 和處理量,或接受預設值。

gcloud CLI

您可以使用 gcloud dataproc clusters create 指令搭配 --master-boot-disk-provisioned-iops--worker-boot-disk-provisioned-iops--master-boot-disk-provisioned-throughput--worker-boot-disk-provisioned-throughput 標記,為叢集節點的 hyperdisk-balanced 開機磁碟設定佈建 IOPS 和佈建總處理量。

範例:
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...
  

REST API

您可以透過管理員 (主要) 和工作站設定的 InstanceGroupConfig.DiskConfig.bootDiskProvisionedIopsInstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput 欄位,為使用 Hyperdisk 開機磁碟的叢集節點設定佈建 IOPS 和佈建輸送量。