SSD locales de Dataproc

Para complementar el disco de arranque, puedes conectar unidades de estado sólido (SSD) locales a los nodos maestros, de trabajo principales y de trabajo secundarios de tu clúster. Cuando se proporcionan SSDs locales al clúster, tanto los datos de HDFS como los datos temporales, como las salidas de aleatorización, utilizan las SSDs locales en lugar del disco persistente de arranque.

  • Las unidades SSD locales pueden proporcionar tiempos de lectura y escritura más rápidos que los discos persistentes (consulta la sección Rendimiento de las unidades SSD locales).
  • El tamaño de 375 GB de cada SSD local es fijo, pero puedes conectar varios SSD locales para aumentar el almacenamiento de SSD (consulta Acerca de los SSD locales).
  • Cada SSD local se monta en /mnt/<id> en los nodos del clúster de Dataproc.
  • Las SSDs locales usan ext4 como sistema de archivos predeterminado.

Usar SSDs locales

Comando gcloud

Usa el comando gcloud dataproc clusters create con las marcas --num-master-local-ssds, --num-workers-local-ssds y --num-secondary-worker-local-ssds para adjuntar SSDs locales a los nodos de trabajador principal, secundario y maestro del clúster.

Los SSD locales se pueden conectar a las VMs de Dataproc mediante una interfaz SCSI (Small Computer System Interface) o NVMe (Non-Volatile Memory Express). Consulta el rendimiento de los SSD locales. La interfaz de SSD local predeterminada de las VMs de clúster de Dataproc es la interfaz SCSI. Usa el comando gcloud dataproc clusters create con las marcas --master-local-ssd-interface, --worker-local-ssd-interface y --secondary-worker-local-ssd-interface para especificar la interfaz SSD local de los nodos de trabajador maestro, primario y secundario.

Ejemplo:

gcloud dataproc clusters create cluster-name \
    --region=region \
    --num-master-local-ssds=1 \
    --num-worker-local-ssds=1 \
    --num-secondary-worker-local-ssds=1 \
    --master-local-ssd-interface=NVME \
    --worker-local-ssd-interface=NVME \
    --secondary-worker-local-ssd-interface=NVME \
    ... other args ...

API REST

Define el campo numLocalSsds en masterConfig, workerConfig y secondaryWorkerConfig InstanceGroupConfig en una solicitud de la API cluster.create para adjuntar SSDs locales a los nodos maestro, de trabajador principal y de trabajador secundario del clúster.

Los SSD locales se pueden conectar a las VMs de Dataproc mediante una interfaz SCSI (Small Computer System Interface) o NVMe (Non-Volatile Memory Express). Consulta el rendimiento de los SSD locales. La interfaz de SSD local predeterminada de las VMs de clúster de Dataproc es la interfaz SCSI. Define el campo localSsdInterface en masterConfig, workerConfig y secondaryWorkerConfig InstanceGroupConfig en una solicitud de la API cluster.create para especificar la interfaz "SCSI" o "NVME" con la que se adjuntarán los SSDs locales a los nodos maestro, de trabajador principal y de trabajador secundario del clúster.

Consola

Crea un clúster y conecta SSDs locales a los nodos maestros, primarios y secundarios de trabajador desde el panel Configurar nodos de la página Crear un clúster de Dataproc de la consola de Google Cloud .