Per integrare il disco di avvio, puoi collegare unità a stato solido locali (SSD locali) ai nodi master, worker principali e secondari nel cluster. Quando al cluster vengono forniti SSD locali, sia i dati HDFS sia i dati temporanei, ad esempio gli output di shuffling, utilizzano gli SSD locali anziché il disco permanente di avvio.
- Le unità SSD locali possono fornire tempi di lettura e scrittura più rapidi rispetto ai disco permanente (vedi Prestazioni SSD locali).
- La dimensione di 375 GB di ogni SSD locale è fissa, ma puoi collegare più SSD locali per aumentare l'archiviazione SSD (vedi Informazioni sulle SSD locali).
- Ogni SSD locale è montato su
/mnt/<id>
nei nodi del cluster Dataproc. - Gli SSD locali utilizzano
ext4
come file system predefinito.
Utilizzo di SSD locali
Comando g-cloud
Utilizza il comando gcloud dataproc clusters create con i flag --num-master-local-ssds
, --num-workers-local-ssds
e --num-secondary-worker-local-ssds
per collegare gli SSD locali ai nodi worker master, primari e secondari del cluster.
Le unità SSD locali possono essere collegate alle VM Dataproc utilizzando un'interfaccia SCSI (Small Computer System Interface) o NVME (Non-Volatile Memory Express) (consulta le prestazioni degli SSD locali).
L'interfaccia predefinita SSD locale della VM del cluster Dataproc è l'interfaccia SCSI. Utilizza il comando gcloud dataproc clusters create con i flag --master-local-ssd-interface
, --worker-local-ssd-interface
e --secondary-worker-local-ssd-interface
per specificare l'interfaccia SSD locale per i nodi worker master, primari e secondari.
Esempio:
gcloud dataproc clusters create cluster-name \ --region=region \ --num-master-local-ssds=1 \ --num-worker-local-ssds=1 \ --num-secondary-worker-local-ssds=1 \ --master-local-ssd-interface=NVME \ --worker-local-ssd-interface=NVME \ --secondary-worker-local-ssd-interface=NVME \ ... other args ...
API REST
Imposta il campo
numLocalSsds
in masterConfig
, workerConfig
e
secondaryWorkerConfig
InstanceGroupConfig
in una richiesta API
cluster.create
per collegare gli SSD locali ai nodi master, worker principale e
worker secondari del cluster.
Le unità SSD locali possono essere collegate alle VM Dataproc utilizzando un'interfaccia SCSI (Small Computer System Interface) o NVME (Non-Volatile Memory Express) (consulta le prestazioni degli SSD locali).
L'interfaccia predefinita SSD locale della VM del cluster Dataproc è l'interfaccia SCSI. Imposta il campo localSsdInterface in masterConfig
, workerConfig
e secondaryWorkerConfig
InstanceGroupConfig in una richiesta API cluster.create per specificare l'interfaccia"SCSI " o"NVME" per collegare gli SSD locali ai nodi master, worker principale e worker secondari del cluster.
Console
Crea un cluster e collega gli SSD locali ai nodi worker master, principali e secondari dal riquadro Configura nodi nella pagina Crea un cluster di Dataproc della console Google Cloud.