Discos de arranque persistentes de Dataproc

Puedes seleccionar discos persistentes estándar, SSD, equilibrados o hyperdisk equilibrados como discos de arranque para los nodos del clúster de Dataproc.

Selecciona tipos de discos de arranque persistentes para los nodos del clúster

Puedes seleccionar el tipo de disco de arranque persistente cuando creas un clúster con la console de Google Cloud, Google Cloud CLI o la API de Dataproc.

Console

Puedes crear un clúster y seleccionar un disco de arranque persistente estándar, SSD o equilibrado para los nodos del clúster principales, trabajadores principales y secundarios en el panel Configurar nodos de la página Crear un clúster de Dataproc en la consola de Google Cloud.

gcloud CLI

Puedes crear un clúster y seleccionar un disco de arranque persistente estándar, SSD o equilibrado, o hyperdisk equilibrado para los nodos del clúster principal, trabajador principal y trabajador secundario con el comando gcloud dataproc clusters create con las marcas --master-boot-disk-type, --worker-boot-disk-type y --secondary-worker-boot-disk-type.

El tipo de disco de arranque persistente predeterminado para los nodos principales y trabajadores del instancia principal del clúster de Dataproc es pd-standard. Si el tipo de máquina de la VM solo admite hyperdisk como disco de arranque, el disco de arranque predeterminado es hyperdisk-balanced. El tipo de disco de arranque persistente predeterminado para los nodos trabajadores secundarios del clúster es el tipo de disco de arranque persistente del nodo trabajador principal.

Puedes pasar un valor de pd-standard, pd-ssd, pd-balanced o hyperdisk-balanced a las marcas --master-boot-disk-type, --worker-boot-disk-type y --secondary-worker-boot-disk-type. Cualquiera de los valores válidos del tipo de disco se puede establecer en cualquier tipo de nodo del clúster.

Ejemplo:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    --secondary-worker-boot-disk-type=pd-standard \
    other args ...

p

Puedes configurar el tamaño de los discos de arranque persistentes con las marcas --master-boot-disk-size, --worker-boot-disk-size y --secondary-worker-boot-disk-size.

API de REST

El tipo de disco de arranque predeterminado para los nodos principales y trabajadores del instancia principal del clúster de Dataproc es pd-standard. Si el tipo de máquina de la VM solo admite hyperdisk como disco de arranque, el disco de arranque predeterminado es hyperdisk-balanced. El tipo de disco de arranque predeterminado para los nodos de trabajador secundario es el tipo de disco de arranque del nodo de trabajo principal.

Puedes establecer un valor de pd-standard, pd-ssd, pd-balanced o hyperdisk-balanced en el campo InstanceGroupConfig.DiskConfig.bootDiskType en masterConfig, workerConfig y secondaryWorkerConfig como parte de una solicitud a la API de cluster.create. Cualquiera de los valores válidos del tipo de disco de arranque se puede establecer en cualquier tipo de nodo de clúster.

Nota: Configura el tamaño del disco de arranque por nodo con el campo InstanceGroupConfig.DiskConfig.bootDiskSizeGb en la configuración de la instancia principal, trabajador o trabajador secundario.

Configuración de Hyperdisk

Cuando crees un clúster, si seleccionas hyperdisk-balanced como el disco de arranque para un nodo de clúster de Dataproc, puedes usar gcloud CLI o la API de Dataproc para establecer la configuración de IOPS aprovisionados y cantidad de procesamiento aprovisionada.

gcloud CLI

Establece las IOPS aprovisionadas y la capacidad de procesamiento aprovisionada para los nodos del clúster con los discos de arranque equilibrados de hiperdisco con las marcas --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput y --worker-boot-disk-provisioned-throughput del comando gcloud dataproc clusters create.

Ejemplo:

  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...
  

Los trabajadores secundarios se configuran con la configuración del disco de arranque del trabajador principal.

API de REST

Establece las IOPS aprovisionadas y la capacidad de procesamiento aprovisionada para los nodos del clúster con discos de arranque de hiperdiscos con los campos InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops y InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput para las configuraciones principal y de trabajo.