SSD locali Dataproc

Per integrare il disco di avvio, puoi collegare Unità a stato solido locali (SSD locali) ai nodi master, ai worker principali e ai nodi worker secondari del cluster. Quando al cluster vengono fornite unità SSD locali, sia i dati HDFS sia quelli temporanei, come le uscite di smistamento, utilizzano le unità SSD locali anziché il disco persistente di avvio.

  • Gli SSD locali possono fornire tempi di lettura e scrittura più rapidi rispetto a un disco permanente (vedi Prestazioni degli SSD locali).
  • Le dimensioni di 375 GB di ogni SSD locale sono fisse, ma puoi collegare più SSD locali per aumentare lo spazio di archiviazione SSD (consulta Informazioni sulle SSD locali).
  • Ogni SSD locale è montato su /mnt/<id> nei nodi del cluster Dataproc.
  • Le unità SSD locali utilizzano ext4 come file system predefinito.

Utilizzo di SSD locali

Comando g-cloud

Utilizza il comando gcloud dataproc clusters create con i flag --num-master-local-ssds, --num-workers-local-ssds e --num-secondary-worker-local-ssds per collegare le unità SSD locali ai nodi master, principali e secondari del cluster.

Gli SSD locali possono essere collegati alle VM Dataproc utilizzando un file SCSI (Small Computer System Interface) o NVME (Non-Volatile Memory Express) (consultare prestazioni SSD locali). L'interfaccia SSD locale della VM del cluster Dataproc predefinita è l'interfaccia SCSI. Utilizza il comando gcloud dataproc clusters create con i flag --master-local-ssd-interface, --worker-local-ssd-interface e --secondary-worker-local-ssd-interface per specificare l'interfaccia dell'unità SSD locale per i nodi worker master, principali e secondari.

Esempio:

gcloud dataproc clusters create cluster-name \
    --region=region \
    --num-master-local-ssds=1 \
    --num-worker-local-ssds=1 \
    --num-secondary-worker-local-ssds=1 \
    --master-local-ssd-interface=NVME \
    --worker-local-ssd-interface=NVME \
    --secondary-worker-local-ssd-interface=NVME \
    ... other args ...

API REST

Imposta il parametro numLocalSsds nel campo masterConfig, workerConfig e secondaryWorkerConfig InstanceGroupConfig in un cluster.create Richiesta API per il collegamento di SSD locali al master, al worker principale e nodi worker secondari.

Le unità SSD locali possono essere collegate alle VM Dataproc utilizzando un'interfaccia SCSI (Small Computer System Interface) o NVME (Non-Volatile Memory Express) (consulta Prestazioni delle unità SSD locali). L'interfaccia SSD locale predefinita della VM del cluster Dataproc è l'interfaccia SCSI. Imposta il campo localSsdInterface in masterConfig, workerConfig e secondaryWorkerConfig InstanceGroupConfig in una richiesta API cluster.create per specificare l'interfaccia "SCSI" o "NVME" per collegare le unità SSD locali ai nodi master, principali e secondari del cluster.

Console

Crea un cluster e collega le unità SSD locali ai nodi master, principali e secondari dei worker dal riquadro Configura nodi della pagina Dataproc Crea un cluster della console Google Cloud.