Discos de arranque de Dataproc

Puedes seleccionar Persistent Disk estándar, SSD o balanceado, o Hyperdisk balanceado de Google Cloud como discos de arranque para los nodos del clúster de Dataproc.

Selecciona tipos de discos de arranque persistentes para los nodos del clúster

Puedes seleccionar el tipo de disco de arranque persistente cuando creas un clúster con la consola deGoogle Cloud , Google Cloud CLI o la API de Dataproc.

Console

Puedes crear un clúster y seleccionar un disco de arranque estándar, SSD, equilibrado de Persistent Disk o Hyperdisk equilibrado para los nodos del clúster de administrador (principal), trabajador principal y trabajador secundario en el panel Configurar nodos de la página Crear un clúster de Dataproc de Google Cloud .

gcloud CLI

Puedes crear un clúster y seleccionar un disco de arranque persistente estándar, SSD o equilibrado, o bien Hyperdisk equilibrado para los nodos del clúster de administrador (principal), trabajador principal y trabajador secundario con el comando gcloud dataproc clusters create con las marcas --master-boot-disk-type, --worker-boot-disk-type y --secondary-worker-boot-disk-type.

El tipo de disco de arranque persistente predeterminado para el administrador del clúster de Dataproc (principal) y los nodos trabajadores principales es pd-standard. Si el tipo de máquina de la VM solo admite Hyperdisk Balanced como disco de arranque, el disco de arranque predeterminado es hyperdisk-balanced. El tipo de disco de arranque persistente predeterminado para los nodos trabajadores secundarios del clúster es el mismo que el del nodo trabajador principal.

Puedes pasar un valor de pd-standard, pd-ssd, pd-balanced o hyperdisk-balanced a las marcas --master-boot-disk-type, --worker-boot-disk-type y --secondary-worker-boot-disk-type. Se puede establecer cualquiera de los valores de tipo de disco válidos en cualquier tipo de nodo de clúster.

Ejemplo:
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    --secondary-worker-boot-disk-type=pd-standard \
    other args ...
p

API de REST

El tipo de disco de arranque predeterminado para el administrador de clústeres (principal) de Dataproc y los nodos trabajadores principales es pd-standard. Si el tipo de máquina de la VM solo admite Hyperdisk Balanced como disco de arranque, el disco de arranque predeterminado es hyperdisk-balanced. El tipo de disco de arranque predeterminado para los nodos de trabajador secundario es el tipo de disco de arranque del nodo de trabajo principal.

Puedes establecer un valor de pd-standard, pd-ssd, pd-balanced o hyperdisk-balanced en el campo InstanceGroupConfig.DiskConfig.bootDiskType de masterConfig, workerConfig y secondaryWorkerConfig como parte de una solicitud a la API de cluster.create. Cualquiera de los valores de tipo de disco de arranque válidos se puede establecer en cualquier tipo de nodo de clúster.

Configuración de Hyperdisk

Cuando creas un clúster con un volumen de Hyperdisk Balanced como disco de arranque para un nodo del clúster de Dataproc, puedes establecer las IOPS y la capacidad de procesamiento aprovisionadas.

Console

Hyperdisk equilibrado se selecciona como el tipo de disco de arranque principal predeterminado para los nodos del clúster de administrador (principal) y trabajador principal desde el panel Configurar nodos en la página Crear un clúster de Dataproc de Google Cloud . Puedes establecer las IOPS y la capacidad de procesamiento, o bien aceptar los valores predeterminados.

gcloud CLI

Puedes configurar las IOPS aprovisionadas y la capacidad de procesamiento aprovisionada para los nodos del clúster con los discos de arranque de hiperdisco balanceado a través del comando gcloud dataproc clusters create con las marcas --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput y --worker-boot-disk-provisioned-throughput.

Ejemplo:
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...
  

API de REST

Puedes establecer IOPS aprovisionadas y capacidad de procesamiento aprovisionada para los nodos del clúster con discos de arranque de Hyperdisk usando los campos InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops y InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput para las configuraciones del administrador (principal) y del trabajador.