Diese Seite wurde von der Cloud Translation API übersetzt.

Lokale Dataproc-SSDs

Als Ergänzung zum Bootlaufwerk können Sie lokale SSDs (Solid State Drive) an Master-, primäre Worker- und sekundäre Worker-Knoten in Ihrem Cluster anhängen. Wenn für den Cluster lokale SSDs bereitgestellt werden, werden sowohl HDFS- als auch Scratch-Daten wie Shuffle-Ausgaben, verwenden Sie die lokalen SSDs anstelle des Bootvorgangs, nichtflüchtiger Speicher.

Lokale SSDs bieten schnellere Lese- und Schreibzeiten als nichtflüchtige Speicher. (siehe Leistung lokaler SSDs).
Die Größe jeder lokalen SSD mit 375 GB ist festgelegt. Sie können aber auch mehrere lokale SSDs SSD-Speicher erweitern (siehe Lokale SSDs.
Jede lokale SSD wird auf Dataproc-Clusterknoten unter /mnt/<id> bereitgestellt.
Lokale SSDs verwenden ext4 als Standarddateisystem.

Lokale SSDs verwenden

gcloud-Befehl

Verwenden Sie den Befehl gcloud dataproc clusters create mit den Flags --num-master-local-ssds, --num-workers-local-ssds und --num-secondary-worker-local-ssds, um lokale SSDs jeweils zu den Masterknoten sowie zu primären und sekundären Worker-Knoten des Clusters hinzuzufügen.

Lokale SSDs können über ein SCSI an Dataproc-VMs angehängt werden (Small Computer System Interface) oder NVME-Schnittstelle (Non-Volatile Memory Express) (siehe Leistung lokaler SSDs. Die Standard-SSD-Schnittstelle der Dataproc-Cluster-VM ist die SCSI-Schnittstelle. Verwenden Sie die Methode gcloud Dataproc-Cluster erstellen mit dem --master-local-ssd-interface-Befehl, --worker-local-ssd-interface und --secondary-worker-local-ssd-interface-Flags zum Angeben der lokalen SSD-Schnittstelle für Master, primäre und sekundäre Instanz Worker-Knoten.

Beispiel:

gcloud dataproc clusters create cluster-name \
    --region=region \
    --num-master-local-ssds=1 \
    --num-worker-local-ssds=1 \
    --num-secondary-worker-local-ssds=1 \
    --master-local-ssd-interface=NVME \
    --worker-local-ssd-interface=NVME \
    --secondary-worker-local-ssd-interface=NVME \
    ... other args ...

REST API

Legen Sie das Feld numLocalSsds in den InstanceGroupConfig-Objekten masterConfig, workerConfig und secondaryWorkerConfig der API-Anfrage cluster.create fest, um lokale SSDs jeweils an den Masterknoten sowie an primäre und sekundäre Worker-Knoten des Clusters anzuhängen.

Lokale SSDs können über eine SCSI- (Small Computer System Interface) oder NVMe- (Non-Volatile Memory Express) Schnittstelle an Dataproc-VMs angehängt werden (siehe Leistung lokaler SSDs). Die standardmäßige lokale SSD-Schnittstelle der Dataproc-Cluster-VM ist die SCSI-Schnittstelle. Legen Sie das Feld localSsdInterface in den InstanceGroupConfig-Objekten masterConfig, workerConfig und secondaryWorkerConfig der API-Anfrage cluster.create fest, um die SCSI- oder NVME-Schnittstelle anzugeben, über die lokale SSDs an die Master-, primären und sekundären Worker-Knoten des Clusters angeschlossen werden sollen.

Console

Erstellen Sie einen Cluster und hängen Sie über die Dataproc-Seite Cluster erstellen der Google Cloud Console lokale SSDs an die Master-, primären und sekundären Worker-Knoten an.