SSD locali Dataproc

Per integrare il disco di avvio, puoi collegare unità a stato solido (SSD) locali ai nodi master, worker principali e worker secondari del cluster. Quando al cluster vengono fornite unità SSD locali, sia dati HDFS sia dati temporanei, ad esempio lo shuffling degli output, usa gli SSD locali anziché un disco permanente standard.

  • Gli SSD locali possono fornire tempi di lettura e scrittura più rapidi rispetto ai dischi permanenti (consulta Prestazioni degli SSD locali).
  • La dimensione di 375 GB di ogni SSD locale è fissa, ma è possibile collegare più SSD locali aumentare lo spazio di archiviazione SSD (vedi Informazioni sulle unità SSD locali).
  • Ogni SSD locale è montata su /mnt/<id> nei nodi del cluster Dataproc.
  • Le unità SSD locali utilizzano ext4 come file system predefinito.

Utilizzo di SSD locali

Comando g-cloud

Utilizza il comando gcloud dataproc clusters create con i flag --num-master-local-ssds, --num-workers-local-ssds e --num-secondary-worker-local-ssds per collegare le unità SSD locali ai nodi master, principali e secondari del cluster.

Gli SSD locali possono essere collegati alle VM Dataproc utilizzando un file SCSI (Small Computer System Interface) o NVME (Non-Volatile Memory Express) (consultare prestazioni SSD locali). L'interfaccia SSD locale della VM del cluster Dataproc predefinita è l'interfaccia SCSI. Utilizza la gcloud dataproc clusters create con il comando --master-local-ssd-interface, --worker-local-ssd-interface e --secondary-worker-local-ssd-interface flag per specificare l'interfaccia SSD locale per nodi worker.

Esempio:

gcloud dataproc clusters create cluster-name \
    --region=region \
    --num-master-local-ssds=1 \
    --num-worker-local-ssds=1 \
    --num-secondary-worker-local-ssds=1 \
    --master-local-ssd-interface=NVME \
    --worker-local-ssd-interface=NVME \
    --secondary-worker-local-ssd-interface=NVME \
    ... other args ...

API REST

Imposta il campo numLocalSsds in masterConfig, workerConfig e secondaryWorkerConfig InstanceGroupConfig in una richiesta API cluster.create per collegare le unità SSD locali ai nodi master, worker principali e worker secondari del cluster.

Le unità SSD locali possono essere collegate alle VM Dataproc utilizzando un'interfaccia SCSI (Small Computer System Interface) o NVME (Non-Volatile Memory Express) (consulta Prestazioni delle unità SSD locali). L'interfaccia SSD locale predefinita della VM del cluster Dataproc è l'interfaccia SCSI. Imposta il parametro localSsdInterface nel campo masterConfig, workerConfig e secondaryWorkerConfig InstanceGroupConfig in un cluster.create Richiesta API per specificare "SCSI" o "NVME" per collegare gli SSD locali al master del cluster, il worker principale e i nodi worker secondari.

Console

Crea un cluster e collega gli SSD locali al master, i nodi worker primari e secondari nel riquadro Configura nodi del Dataproc Pagina Crea un cluster della console Google Cloud.