Per integrare il disco di avvio, puoi collegare unità a stato solido (SSD) locali ai nodi master, worker principali e worker secondari del cluster. Quando al cluster vengono fornite unità SSD locali, sia i dati HDFS sia quelli temporanei, come le uscite di smistamento, utilizzano le unità SSD locali anziché il disco permanente di avvio.
- Gli SSD locali possono fornire tempi di lettura e scrittura più rapidi rispetto ai disco permanente (consulta Prestazioni degli SSD locali).
- Le dimensioni di 375 GB di ogni SSD locale sono fisse, ma puoi collegare più SSD locali per aumentare lo spazio di archiviazione SSD (consulta Informazioni sulle SSD locali).
- Ogni SSD locale è montata su
/mnt/<id>nei nodi del cluster Dataproc. - Le unità SSD locali utilizzano
ext4come file system predefinito.
Utilizzo di SSD locali
Comando g-cloud
Utilizza il
comando gcloud dataproc clusters create
con i flag --num-master-local-ssds,
--num-workers-local-ssds e
--num-secondary-worker-local-ssds per collegare le unità SSD locali ai nodi master, principali e secondari del cluster.
Le unità SSD locali possono essere collegate alle VM Dataproc utilizzando un'interfaccia SCSI (Small Computer System Interface) o NVME (Non-Volatile Memory Express) (consulta Prestazioni delle unità SSD locali).
L'interfaccia SSD locale predefinita della VM del cluster Dataproc è l'interfaccia SCSI. Utilizza il comando
gcloud dataproc clusters create
con i flag --master-local-ssd-interface,
--worker-local-ssd-interface e
--secondary-worker-local-ssd-interface
per specificare l'interfaccia dell'unità SSD locale per i nodi worker master, principali e secondari.
Esempio:
gcloud dataproc clusters create cluster-name \ --region=region \ --num-master-local-ssds=1 \ --num-worker-local-ssds=1 \ --num-secondary-worker-local-ssds=1 \ --master-local-ssd-interface=NVME \ --worker-local-ssd-interface=NVME \ --secondary-worker-local-ssd-interface=NVME \ ... other args ...
API REST
Imposta il campo
numLocalSsds
in masterConfig, workerConfig e
secondaryWorkerConfig
InstanceGroupConfig
in una
richiesta API cluster.create
per collegare le unità SSD locali ai nodi master, worker principali e worker secondari del cluster.
Le unità SSD locali possono essere collegate alle VM Dataproc utilizzando un'interfaccia SCSI (Small Computer System Interface) o NVME (Non-Volatile Memory Express) (consulta Prestazioni delle unità SSD locali).
L'interfaccia SSD locale predefinita della VM del cluster Dataproc è l'interfaccia SCSI. Imposta il campo localSsdInterface in masterConfig, workerConfig e secondaryWorkerConfig
InstanceGroupConfig in una richiesta API cluster.create per specificare l'interfaccia"SCSI " o"NVME" per collegare le unità SSD locali ai nodi master, principali e secondari del cluster.
Console
Crea un cluster e collega le unità SSD locali ai nodi master, principali e secondari dei worker dal riquadro Configura nodi della pagina Dataproc Crea un cluster della console Google Cloud.