Para complementar el disco de arranque, puedes adjuntar unidades de estado sólido locales (SSD locales) a los nodos principales, trabajadores principales y trabajadores secundarios en tu clúster. Con los SSD locales, se pueden obtener tiempos de lectura y escritura más rápidos que con los discos persistentes. El tamaño de 375 GB de cada SSD local es fijo, pero puedes conectar varios SSD locales para aumentar el almacenamiento SSD (consulta Cómo agregar SSD locales). Cada SSD local se activa en /mnt/<id> en los nodos del clúster de Dataproc.
Cuando se proporcionan SSD locales al clúster, los datos HDFS y provisiorios, como los resultados aleatorios, usarán los SSD locales en lugar del disco persistente de arranque.
Usa SSD locales
Comando de gcloud
Usa el comando gcloud dataproc clusters create con las marcas --num-master-local-ssds, --num-workers-local-ssds y --num-secondary-worker-local-ssds para conectar SSD locales a los nodos trabajadores (interrumpibles) principales, primarios y secundarios del clúster, respectivamente.
Ejemplo:
gcloud dataproc clusters create cluster-name \ --region=region \ --num-master-local-ssds=1 \ --num-worker-local-ssds=1 \ --num-secondary-worker-local-ssds=1 \ ... other args ...
API de REST
Establece el campo numLocalSsds en InstanceGroupConfig de masterConfig, workerConfig y secondaryWorkerConfig en una solicitud cluster.create a la API para conectar SSD locales a los nodos trabajadores (interrumpibles) principales, primarios y secundarios del clúster, respectivamente.
Console
Crea un clúster y adjunta los SSD locales a los nodos trabajadores principales, primarios y secundarios desde el panel Configurar nodos de la página Crear un clúster de Dataproc de Google Cloud Console.