Als Ergänzung zum Bootlaufwerk können Sie lokale SSDs (Solid State Drive) an Master-, primäre Worker- und sekundäre Worker-Knoten in Ihrem Cluster anhängen. Wenn dem Cluster lokale SSDs bereitgestellt werden, verwenden sowohl HDFS- als auch Scratch-Daten, z. B. Shuffle-Ausgaben, die lokalen SSDs anstelle des nichtflüchtigen Bootspeichers.
- Lokale SSDs bieten schnellere Lese- und Schreibzeiten als nichtflüchtige Speicher (siehe Leistung lokaler SSDs).
- Die Größe der lokalen SSDs mit 375 GB ist fest vorgegeben. Sie können jedoch mehrere lokale SSDs hinzufügen, um den SSD-Speicher zu erhöhen (siehe Informationen zu lokalen SSDs).
- Jede lokale SSD wird auf Dataproc-Clusterknoten unter
/mnt/<id>
bereitgestellt. - Lokale SSDs verwenden
ext4
als Standarddateisystem.
Lokale SSDs verwenden
gcloud-Befehl
Verwenden Sie den Befehl gcloud dataproc clusters create mit den Flags --num-master-local-ssds
, --num-workers-local-ssds
und --num-secondary-worker-local-ssds
, um lokale SSDs an die Master-, primären und sekundären Worker-Knoten des Clusters anzuhängen.
Lokale SSDs können über eine SCSI-Schnittstelle (Small Computer System Interface) oder NVME-Schnittstelle (Non-Volatile Memory Express) an Dataproc-VMs angehängt werden (siehe Leistung lokaler SSDs).
Die standardmäßige Schnittstelle für die lokale SSD der Dataproc-Cluster-VM ist die SCSI-Schnittstelle. Verwenden Sie den Befehl gcloud dataproc clusters create mit den Flags --master-local-ssd-interface
, --worker-local-ssd-interface
und --secondary-worker-local-ssd-interface
, um die lokale SSD-Schnittstelle für Master-, primäre und sekundäre Worker-Knoten anzugeben.
Example:
gcloud dataproc clusters create cluster-name \ --region=region \ --num-master-local-ssds=1 \ --num-worker-local-ssds=1 \ --num-secondary-worker-local-ssds=1 \ --master-local-ssd-interface=NVME \ --worker-local-ssd-interface=NVME \ --secondary-worker-local-ssd-interface=NVME \ ... other args ...
REST API
Legen Sie das Feld numLocalSsds in InstanceGroupConfig masterConfig
, workerConfig
und secondaryWorkerConfig
in einer cluster.create-API-Anfrage fest, um lokale SSDs an die Master-, primären Worker- und sekundären Worker-Knoten des Clusters anzuhängen.
Lokale SSDs können über eine SCSI-Schnittstelle (Small Computer System Interface) oder NVME-Schnittstelle (Non-Volatile Memory Express) an Dataproc-VMs angehängt werden (siehe Leistung lokaler SSDs).
Die standardmäßige Schnittstelle für die lokale SSD der Dataproc-Cluster-VM ist die SCSI-Schnittstelle. Legen Sie das Feld localSsdInterface in InstanceGroupConfig masterConfig
, workerConfig
und secondaryWorkerConfig
in einer cluster.create-API-Anfrage fest, um die SCSI- oder NVME-Schnittstelle anzugeben, um lokale SSDs an den Master, den primären Worker und die sekundären Worker-Knoten des Clusters anzuhängen.
Console
Erstellen Sie einen Cluster und fügen Sie lokale SSDs zu den Master-, primären und sekundären Worker-Knoten über den Bereich "Knoten konfigurieren" der Dataproc-Seite Cluster erstellen der Google Cloud Console hinzu.