Disques SSD locaux Dataproc

Pour compléter le disque de démarrage, vous pouvez associer des disques SSD locaux aux nœuds maîtres, principaux et secondaires de votre cluster. Lorsque des disques SSD locaux sont fournis au cluster, les données HDFS et les données de travail, telles que les sorties de brassage, utilisent les disques SSD locaux à la place du disque persistant de démarrage.

  • Les disques SSD locaux peuvent fournir des temps de lecture et d'écriture plus rapides que les disques persistants (consultez la section Performances des disques SSD locaux).
  • La taille de 375 Go de chaque disque SSD local est fixe, mais vous pouvez en associer plusieurs pour augmenter le stockage SSD (consultez la section À propos des disques SSD locaux).
  • Chaque disque SSD local est installé sur /mnt/<id> dans les nœuds de cluster Dataproc.
  • Les disques SSD locaux utilisent ext4 comme système de fichiers par défaut.

Utiliser des disques SSD locaux

Commande gcloud

Exécutez la commande gcloud dataproc clusters create avec les options --num-master-local-ssds, --num-workers-local-ssds et --num-secondary-worker-local-ssds pour associer des disques SSD locaux aux nœuds de calcul maîtres, principaux et secondaires du cluster.

Les disques SSD locaux peuvent être associés aux VM Dataproc à l'aide d'une interface SCSI (Small Computer System Interface) ou NVME (Non-Volatile Memory Express) (consultez la section Performances des disques SSD locaux). L'interface SSD locale de VM du cluster Dataproc par défaut est l'interface SCSI. Exécutez la commande gcloud dataproc clusters create avec les options --master-local-ssd-interface, --worker-local-ssd-interface et --secondary-worker-local-ssd-interface pour spécifier l'interface SSD locale pour les nœuds de calcul maîtres, principaux et secondaires.

Exemple :

gcloud dataproc clusters create cluster-name \
    --region=region \
    --num-master-local-ssds=1 \
    --num-worker-local-ssds=1 \
    --num-secondary-worker-local-ssds=1 \
    --master-local-ssd-interface=NVME \
    --worker-local-ssd-interface=NVME \
    --secondary-worker-local-ssd-interface=NVME \
    ... other args ...

API REST

Définissez le champ numLocalSsds dans les champs InstanceGroupConfig masterConfig, workerConfig et secondaryWorkerConfig d'une requête API cluster.create pour associer des disques SSD locaux aux nœuds maîtres, de nœuds de calcul primaires et secondaires du cluster.

Les disques SSD locaux peuvent être associés aux VM Dataproc à l'aide d'une interface SCSI (Small Computer System Interface) ou NVME (Non-Volatile Memory Express) (consultez la section Performances des disques SSD locaux). L'interface SSD locale de VM du cluster Dataproc par défaut est l'interface SCSI. Définissez le champ localSsdInterface dans les champs InstanceGroupConfig masterConfig, workerConfig et secondaryWorkerConfig d'une requête API cluster.create pour spécifier l'interface "SCSI" ou "NVME" afin d'associer les disques SSD locaux aux nœuds maîtres, principaux et secondaires du cluster.

Console

Créez un cluster et associez des disques SSD locaux aux nœuds de calcul maîtres, principaux et secondaires depuis le panneau "Configurer les nœuds" de la page Dataproc Créer un cluster de la console Google Cloud.