Lokale Dataproc-SSDs

Als Ergänzung zum Bootlaufwerk können Sie lokale SSDs (Solid State Drive) an Master-, primäre Worker- und sekundäre Worker-Knoten in Ihrem Cluster anhängen. Wenn dem Cluster lokale SSDs bereitgestellt werden, verwenden sowohl HDFS- als auch Scratch-Daten, z. B. Shuffle-Ausgaben, die lokalen SSDs anstelle des nichtflüchtigen Bootspeichers.

  • Lokale SSDs bieten schnellere Lese- und Schreibzeiten als nichtflüchtige Speicher (siehe Leistung lokaler SSDs).
  • Die Größe der lokalen SSDs mit 375 GB ist fest vorgegeben. Sie können jedoch mehrere lokale SSDs hinzufügen, um den SSD-Speicher zu erhöhen (siehe Informationen zu lokalen SSDs).
  • Jede lokale SSD wird auf Dataproc-Clusterknoten unter /mnt/<id> bereitgestellt.
  • Lokale SSDs verwenden ext4 als Standarddateisystem.

Lokale SSDs verwenden

gcloud-Befehl

Verwenden Sie den Befehl gcloud dataproc clusters create mit den Flags --num-master-local-ssds, --num-workers-local-ssds und --num-secondary-worker-local-ssds, um lokale SSDs an die Master-, primären und sekundären Worker-Knoten des Clusters anzuhängen.

Lokale SSDs können über eine SCSI-Schnittstelle (Small Computer System Interface) oder NVME-Schnittstelle (Non-Volatile Memory Express) an Dataproc-VMs angehängt werden (siehe Leistung lokaler SSDs). Die standardmäßige Schnittstelle für die lokale SSD der Dataproc-Cluster-VM ist die SCSI-Schnittstelle. Verwenden Sie den Befehl gcloud dataproc clusters create mit den Flags --master-local-ssd-interface, --worker-local-ssd-interface und --secondary-worker-local-ssd-interface, um die lokale SSD-Schnittstelle für Master-, primäre und sekundäre Worker-Knoten anzugeben.

Example:

gcloud dataproc clusters create cluster-name \
    --region=region \
    --num-master-local-ssds=1 \
    --num-worker-local-ssds=1 \
    --num-secondary-worker-local-ssds=1 \
    --master-local-ssd-interface=NVME \
    --worker-local-ssd-interface=NVME \
    --secondary-worker-local-ssd-interface=NVME \
    ... other args ...

REST API

Legen Sie das Feld numLocalSsds in InstanceGroupConfig masterConfig, workerConfig und secondaryWorkerConfig in einer cluster.create-API-Anfrage fest, um lokale SSDs an die Master-, primären Worker- und sekundären Worker-Knoten des Clusters anzuhängen.

Lokale SSDs können über eine SCSI-Schnittstelle (Small Computer System Interface) oder NVME-Schnittstelle (Non-Volatile Memory Express) an Dataproc-VMs angehängt werden (siehe Leistung lokaler SSDs). Die standardmäßige Schnittstelle für die lokale SSD der Dataproc-Cluster-VM ist die SCSI-Schnittstelle. Legen Sie das Feld localSsdInterface in InstanceGroupConfig masterConfig, workerConfig und secondaryWorkerConfig in einer cluster.create-API-Anfrage fest, um die SCSI- oder NVME-Schnittstelle anzugeben, um lokale SSDs an den Master, den primären Worker und die sekundären Worker-Knoten des Clusters anzuhängen.

Console

Erstellen Sie einen Cluster und fügen Sie lokale SSDs zu den Master-, primären und sekundären Worker-Knoten über den Bereich "Knoten konfigurieren" der Dataproc-Seite Cluster erstellen der Google Cloud Console hinzu.