Discos de arranque de Dataproc

Puedes seleccionar Persistent Disk estándar, SSD o balanceado, o Hyperdisk balanceado de Google Cloud como discos de inicio para los nodos del clúster de Dataproc.

Seleccionar tipos de disco de arranque persistente para los nodos del clúster

Puedes seleccionar el tipo de disco de arranque persistente al crear un clúster con laGoogle Cloud consola, la CLI de Google Cloud o la API de Dataproc.

Consola

Puedes crear un clúster y seleccionar un disco persistente estándar, SSD o balanceado, o un disco de arranque Hyperdisk balanceado para los nodos de clúster de administrador (principal), de trabajador principal y de trabajador secundario desde el panel Configurar nodos de la página Crear un clúster de la consola de Google Cloud Dataproc.

CLI de gcloud

Puedes crear un clúster y seleccionar un disco de arranque persistente estándar, SSD o equilibrado, o bien Hyperdisk equilibrado para los nodos de clúster de administrador (principal), de trabajador principal y de trabajador secundario con el comando gcloud dataproc clusters create y las marcas --master-boot-disk-type, --worker-boot-disk-type y --secondary-worker-boot-disk-type.

El tipo de disco de arranque persistente predeterminado de los nodos de trabajador principal y del gestor de clústeres (maestro) de Dataproc es pd-standard. Si el tipo de máquina de la VM solo admite Hyperdisk Balanced como disco de arranque, el disco de arranque predeterminado es hyperdisk-balanced. El tipo de disco de arranque persistente predeterminado de los nodos de trabajador secundarios del clúster es el tipo de disco de arranque persistente del nodo de trabajador principal.

Puedes asignar el valor pd-standard, pd-ssd, pd-balanced o hyperdisk-balanced a las marcas --master-boot-disk-type, --worker-boot-disk-type y --secondary-worker-boot-disk-type. Cualquiera de los valores de tipo de disco válidos se puede definir en cualquier tipo de nodo de clúster.

Ejemplo:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    --secondary-worker-boot-disk-type=pd-standard \
    other args ...

p

Puedes definir el tamaño de los discos de arranque persistentes con los indicadores --master-boot-disk-size, --worker-boot-disk-size y --secondary-worker-boot-disk-size.

API REST

El tipo de disco de arranque predeterminado de los nodos de trabajador principal y del gestor de clústeres (principal) de Dataproc es pd-standard. Si el tipo de máquina de la VM solo admite Hyperdisk Balanced como disco de arranque, el disco de arranque predeterminado es hyperdisk-balanced. El tipo de disco de arranque predeterminado de los nodos de trabajador secundario es el tipo de disco de arranque del nodo de trabajo principal.

Puedes definir el valor pd-standard, pd-ssd, pd-balanced o hyperdisk-balanced en el campo InstanceGroupConfig.DiskConfig.bootDiskType de masterConfig, workerConfig y secondaryWorkerConfig como parte de una solicitud de API cluster.create. Cualquiera de los valores de tipo de disco de arranque válidos se puede definir en cualquier tipo de nodo de clúster.

Nota: Define el tamaño del disco de arranque por nodo mediante el campo InstanceGroupConfig.DiskConfig.bootDiskSizeGb en la configuración del nodo principal, del trabajador o del trabajador secundario.

Configuración de Hyperdisk

Cuando creas un clúster con un volumen de Hyperdisk Balanced como disco de arranque de un nodo de clúster de Dataproc, puedes definir las IOPS y la capacidad de procesamiento aprovisionadas.

Consola

Hyperdisk Balanced (Hyperdisk equilibrado) está seleccionado como tipo de disco de arranque principal predeterminado para los nodos de clúster de trabajador principal y de gestor (principal) en el panel Configurar nodos de la página Crear un clúster de la consola de Google Cloud Dataproc. Puedes definir las IOPS y el rendimiento, o aceptar los valores predeterminados.

CLI de gcloud

Puede definir IOPS aprovisionados y un rendimiento aprovisionado para los nodos de clúster con discos de arranque hyperdisk balanced mediante los comandos gcloud dataproc clusters create --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput y --worker-boot-disk-provisioned-throughput.

Ejemplo:

  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...
  

Los trabajadores secundarios se configuran con los ajustes del disco de arranque del trabajador principal.

API REST

Puedes definir las IOPS aprovisionadas y el rendimiento aprovisionado de los nodos de clúster con discos de arranque Hyperdisk mediante los campos InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops y InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput de las configuraciones del gestor (principal) y del trabajador.