Pour compléter le disque de démarrage, vous pouvez associer des disques SSD locaux aux nœuds maîtres, principaux et secondaires de votre cluster. Lorsque des disques SSD locaux sont fournis au cluster, à la fois HDFS et les données de travail, comme les sorties de brassage, utilisez les disques SSD locaux au lieu du disque de démarrage persistant standard.
- Les SSD locaux peuvent fournir des vitesses d'écriture et de lecture supérieures à celles du disque persistant (voir la section Performances des disques SSD locaux).
- La taille de 375 Go de chaque disque SSD local est fixe, mais vous pouvez associer plusieurs disques SSD locaux à augmentez l'espace de stockage SSD (consultez À propos des disques SSD locaux
- Chaque disque SSD local est installé sur
/mnt/<id>dans les nœuds de cluster Dataproc. - Les disques SSD locaux utilisent
ext4. comme système de fichiers par défaut.
Utiliser des disques SSD locaux
Commande gcloud
Exécutez la commande gcloud dataproc clusters create avec les options --num-master-local-ssds, --num-workers-local-ssds et --num-secondary-worker-local-ssds pour associer des SSD locaux respectivement aux nœuds maîtres, et aux nœuds de calcul primaires et secondaires du cluster.
Les disques SSD locaux peuvent être associés aux VM Dataproc à l'aide d'un mode SCSI.
(Small Computer System Interface) ou NVME (Non-Volatile Memory Express) (voir
performances des disques SSD locaux).
Par défaut, l'interface SSD locale d'une VM de cluster Dataproc est l'interface SCSI. Exécutez la commande gcloud dataproc clusters create avec les options --master-local-ssd-interface, --worker-local-ssd-interface et --secondary-worker-local-ssd-interface pour spécifier l'interface SSD locale pour les nœuds de calcul maîtres, primaires et secondaires.
Exemple :
gcloud dataproc clusters create cluster-name \ --region=region \ --num-master-local-ssds=1 \ --num-worker-local-ssds=1 \ --num-secondary-worker-local-ssds=1 \ --master-local-ssd-interface=NVME \ --worker-local-ssd-interface=NVME \ --secondary-worker-local-ssd-interface=NVME \ ... other args ...
API REST
Définissez le champ numLocalSsds dans les paramètres masterConfig, workerConfig et secondaryWorkerConfig de la propriété InstanceGroupConfig dans une requête API cluster.create pour associer des disques SSD locaux respectivement aux nœuds maîtres, et aux nœuds de calcul primaires et secondaires du cluster.
Les disques SSD locaux peuvent être associés à des VM Dataproc à l'aide d'une interface SCSI (Small Computer System Interface) ou NVME (Non-Volatile Memory Express) (voir la section Performances des disques SSD locaux).
Par défaut, l'interface SSD locale d'une VM de cluster Dataproc est l'interface SCSI. Définissez le champ localSsdInterface dans les paramètres masterConfig, workerConfig et secondaryWorkerConfig de la propriété InstanceGroupConfig dans une requête API cluster.create pour spécifier l'interface "SCSI" ou "NVME" afin d'associer des SSD locaux aux nœuds maîtres, de calcul principaux et secondaires du cluster.
Console
Créez un cluster et associez des SSD locaux au maître ainsi qu'aux nœuds de calcul principaux et secondaires depuis le panneau "Configurer les nœuds" de la page Créer un cluster de Dataproc dans la console Google Cloud.