Dischi di avvio permanenti Dataproc

Puoi selezionare dischi permanenti standard, SSD e bilanciati o hyperdisk bilanciati come dischi di avvio per i nodi del cluster Dataproc.

Seleziona i tipi di dischi di avvio permanenti per i nodi del cluster

Puoi selezionare il tipo di disco di avvio permanente quando crei un cluster utilizzando la console Google Cloud, Google Cloud CLI o l'API Dataproc.

Console

Puoi creare un cluster e selezionare un disco di avvio permanente standard, SSD o bilanciato per i nodi del cluster master, del worker principale e del worker secondario dal riquadro Configura nodi nella pagina Dataproc Crea un cluster della console Google Cloud.

Interfaccia a riga di comando gcloud

Puoi creare un cluster e selezionare un disco di avvio persistente standard, SSD, bilanciato o hyperdisk bilanciato per i nodi del cluster master, worker principale e worker secondario utilizzando il comando gcloud dataproc clusters create con i flag --master-boot-disk-type, --worker-boot-disk-type e --secondary-worker-boot-disk-type.

Il tipo di disco di avvio permanente predefinito per i nodi master e worker principali del cluster Dataproc è pd-standard. Se il tipo di macchina della VM supporta solo hyperdisk come disco di avvio, il disco di avvio predefinito è hyperdisk-balanced. Il tipo di disco di avvio permanente predefinito per i nodi worker secondari del cluster è il tipo di disco di avvio permanente del nodo worker principale.

Puoi passare un valore pd-standard, pd-ssd, pd-balanced o hyperdisk-balanced ai flag --master-boot-disk-type, --worker-boot-disk-type e --secondary-worker-boot-disk-type. Qualsiasi valore valido del tipo di disco può essere impostato su qualsiasi tipo di nodo del cluster.

Esempio:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    --secondary-worker-boot-disk-type=pd-standard \
    other args ...

p

Puoi impostare le dimensioni dei dischi di avvio permanenti utilizzando i flag --master-boot-disk-size, --worker-boot-disk-size e --secondary-worker-boot-disk-size.

API REST

Il tipo di disco di avvio predefinito per i nodi master e worker principali del cluster Dataproc è pd-standard. Se il tipo di macchina della VM supporta solo hyperdisk come disco di avvio, il disco di avvio predefinito è hyperdisk-balanced. Il tipo di disco di avvio predefinito per i nodi worker secondari è il tipo di disco di avvio del nodo di lavoro principale.

Puoi impostare un valore pd-standard, pd-ssd, pd-balanced o hyperdisk-balanced nel InstanceGroupConfig.DiskConfig.bootDiskType campo in masterConfig, workerConfig e secondaryWorkerConfig nell'ambito di una cluster.create richiesta API. Qualsiasi valore valido del tipo di disco di avvio può essere impostato su qualsiasi tipo di nodo cluster.

Nota: imposta le dimensioni del disco di avvio per nodo utilizzando il campo InstanceGroupConfig.DiskConfig.bootDiskSizeGb nella configurazione del nodo master, worker o worker secondario.

Impostazioni Hyperdisk

Quando crei un cluster, se selezioni hyperdisk-balanced come disco di avvio per un nodo del cluster Dataproc, puoi utilizzare l'interfaccia a riga di comando gcloud o l'API Dataproc per impostare le impostazioni IOPS provisionati e throughput provisionato.

Interfaccia a riga di comando gcloud

Imposta le IOPS e il throughput di cui è stato eseguito il provisioning per i nodi del cluster con i dischi di avvio bilanciati in base all'hyperdisk utilizzando i flag --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput e --worker-boot-disk-provisioned-throughput del comando gcloud dataproc clusters create.

Esempio:

  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...
  

I worker secondari vengono configurati con le impostazioni del disco di avvio del worker principale.

API REST

Imposta le IOPS e la velocità effettiva provisionate per i nodi del cluster con i dischi di avvio Hyperdisk utilizzando i campi InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops e InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput per le configurazioni master e worker.