Disk booting Dataproc

Anda dapat memilih Persistent Disk standar, SSD, seimbang, atau Google Cloud Hyperdisk Seimbang sebagai disk booting untuk node cluster Dataproc.

Memilih jenis boot disk persisten untuk node cluster

Anda dapat memilih jenis boot disk persisten saat membuat cluster menggunakan konsolGoogle Cloud , Google Cloud CLI, atau Dataproc API.

Konsol

Anda dapat membuat cluster dan memilih boot disk Persistent Disk standar, SSD, seimbang, atau Hyperdisk Seimbang untuk node cluster pengelola (master), pekerja utama, dan pekerja sekunder dari panel Konfigurasi node di halaman Buat cluster Dataproc di konsol Google Cloud .

gcloud CLI

Anda dapat membuat cluster dan memilih boot disk persisten seimbang, SSD , standar, atau seimbang Hyperdisk untuk node cluster pengelola (master), pekerja utama, dan pekerja sekunder menggunakan perintah gcloud dataproc clusters create dengan tanda --master-boot-disk-type, --worker-boot-disk-type, dan --secondary-worker-boot-disk-type.

Jenis persistent boot disk default untuk pengelola cluster Dataproc (master) dan node pekerja utama adalah pd-standard. Jika jenis mesin VM hanya mendukung Hyperdisk Seimbang sebagai disk booting, disk booting default adalah hyperdisk-balanced. Jenis persistent boot disk default untuk node pekerja sekunder cluster adalah jenis persistent boot disk node pekerja utama.

Anda dapat meneruskan nilai pd-standard, pd-ssd, pd-balanced, atau hyperdisk-balanced ke flag --master-boot-disk-type, --worker-boot-disk-type, dan --secondary-worker-boot-disk-type. Nilai jenis disk yang valid dapat ditetapkan pada jenis node cluster apa pun.

Contoh:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    --secondary-worker-boot-disk-type=pd-standard \
    other args ...

p

Anda dapat menetapkan ukuran persistent boot disk menggunakan flag --master-boot-disk-size, --worker-boot-disk-size, dan --secondary-worker-boot-disk-size.

REST API

Jenis disk boot default untuk pengelola (master) dan node worker utama cluster Dataproc adalah pd-standard. Jika jenis mesin VM hanya mendukung Hyperdisk Seimbang sebagai disk booting, disk booting default adalah hyperdisk-balanced. Jenis boot disk default untuk node pekerja sekunder adalah jenis boot disk node pekerja utama.

Anda dapat menetapkan nilai pd-standard, pd-ssd, pd-balanced, atau hyperdisk-balanced di kolom InstanceGroupConfig.DiskConfig.bootDiskType dalam masterConfig, workerConfig, dan secondaryWorkerConfig sebagai bagian dari permintaan API cluster.create. Nilai jenis boot disk yang valid dapat ditetapkan pada jenis node cluster apa pun.

Catatan: Tetapkan ukuran disk booting per node menggunakan kolom InstanceGroupConfig.DiskConfig.bootDiskSizeGb di konfigurasi master, pekerja, atau pekerja sekunder.

Setelan Hyperdisk

Saat membuat cluster dengan volume Hyperdisk Balanced sebagai disk booting untuk node cluster Dataproc, Anda dapat menetapkan IOPS dan throughput yang disediakan.

Konsol

Hyperdisk Balanced dipilih sebagai jenis disk boot utama default untuk node cluster pekerja utama dan pengelola (master) dari panel Configure nodes di halaman Create a cluster Dataproc di konsol Google Cloud . Anda dapat menyetel IOPS dan throughput, atau menerima nilai default.

gcloud CLI

Anda dapat menetapkan IOPS yang disediakan dan throughput yang disediakan untuk node cluster dengan boot disk hyperdisk-balanced menggunakan perintah gcloud dataproc clusters create --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput, dan flag --worker-boot-disk-provisioned-throughput.

Contoh:

  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...
  

Pekerja sekunder dikonfigurasi dengan setelan disk boot pekerja utama.

REST API

Anda dapat menetapkan IOPS yang disediakan dan throughput yang disediakan untuk node cluster dengan disk boot Hyperdisk menggunakan kolom InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops dan InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput untuk konfigurasi pengelola (master) dan pekerja.