Disk Boot Persistent Dataproc

Anda dapat memilih persistent disk standar, SSD, seimbang, atau hyperdisk seimbang sebagai boot disk untuk node cluster Dataproc.

Memilih jenis persistent disk boot untuk node cluster

Anda dapat memilih jenis disk booting persisten saat membuat cluster menggunakan konsol Google Cloud, Google Cloud CLI, atau Dataproc API.

Konsol

Anda dapat membuat cluster dan memilih disk booting persisten standar, SSD, atau seimbang untuk node cluster master, pekerja utama, dan pekerja sekunder dari panel Configure nodes di halaman Create a cluster Dataproc di konsol Google Cloud.

gcloud CLI

Anda dapat membuat cluster dan memilih disk boot persisten standar, SSD , seimbang, atau hyperdisk seimbang untuk node cluster master, pekerja utama, dan pekerja sekunder menggunakan perintah gcloud dataproc clusters create dengan flag --master-boot-disk-type, --worker-boot-disk-type, dan --secondary-worker-boot-disk-type.

Jenis persistent boot disk default untuk master cluster Dataproc dan node pekerja utama adalah pd-standard. Jika VM jenis mesin hanya mendukung hyperdisk sebagai disk booting, disk booting default adalah hyperdisk-balanced. Jenis persistent boot disk default untuk node pekerja sekunder cluster adalah jenis persistent boot disk node pekerja utama.

Anda dapat meneruskan nilai pd-standard, pd-ssd, pd-balanced, atau hyperdisk-balanced ke flag --master-boot-disk-type, --worker-boot-disk-type, dan --secondary-worker-boot-disk-type. Setiap nilai jenis disk yang valid dapat ditetapkan pada jenis node cluster apa pun.

Contoh:
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    --secondary-worker-boot-disk-type=pd-standard \
    other args ...
p

REST API

Jenis disk booting default untuk node master dan pekerja utama cluster Dataproc adalah pd-standard. Jika jenis mesin VM hanya mendukung hyperdisk sebagai disk booting, disk booting default adalah hyperdisk-balanced. Jenis boot disk default untuk node pekerja sekunder adalah jenis boot disk node kerja utama.

Anda dapat menetapkan nilai pd-standard, pd-ssd, pd-balanced, atau hyperdisk-balanced di kolom InstanceGroupConfig.DiskConfig.bootDiskType di masterConfig, workerConfig, dan secondaryWorkerConfig sebagai bagian dari permintaan API cluster.create. Setiap nilai jenis jenis disk booting yang valid dapat ditetapkan pada jenis node cluster apa pun.

Setelan Hyperdisk

Saat membuat cluster, jika Anda memilih hyperdisk-balanced sebagai disk booting untuk node cluster Dataproc, Anda dapat menggunakan gcloud CLI atau Dataproc API untuk menetapkan setelan IOPS yang disediakan dan throughput yang disediakan.

gcloud CLI

Tetapkan IOPS yang disediakan dan throughput yang disediakan untuk node cluster dengan disk booting yang seimbang dengan hyperdisk menggunakan flag perintah gcloud dataproc clusters create --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput, dan --worker-boot-disk-provisioned-throughput.

Contoh:
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...
  

REST API

Tetapkan IOPS yang disediakan dan throughput yang disediakan untuk node cluster dengan disk booting hyperdisk menggunakan kolom InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops dan InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput untuk konfigurasi master dan pekerja.