Restez organisé à l'aide des collections
Enregistrez et classez les contenus selon vos préférences.
Pour compléter le disque de démarrage, vous pouvez associer des disques SSD locaux aux nœuds maîtres, principaux et secondaires de votre cluster.
Lorsque des disques SSD locaux sont fournis au cluster, les données HDFS et les données temporaires, telles que les sorties brassées, utilisent les disques SSD locaux au lieu du disque persistant de démarrage.
Les disques SSD locaux peuvent fournir des vitesses d'écriture et de lecture supérieures à celles du disque persistant (voir Performances des disques SSD locaux).
La taille de chaque disque SSD local de 375 Go est fixe, mais vous pouvez associer plusieurs disques SSD locaux pour augmenter le stockage SSD (consultez À propos des disques SSD locaux).
Chaque disque SSD local est installé sur /mnt/<id> dans les nœuds de cluster Dataproc.
Les disques SSD locaux utilisent ext4 comme système de fichiers par défaut.
Utiliser des disques SSD locaux
Commande gcloud
Exécutez la commande gcloud dataproc clusters create avec les options --num-master-local-ssds, --num-workers-local-ssds et --num-secondary-worker-local-ssds pour associer des disques SSD locaux aux nœuds maîtres, et aux nœuds de calcul primaires et secondaires du cluster.
Les disques SSD locaux peuvent être associés à des VM Dataproc à l'aide d'une interface SCSI (Small Computer System Interface) ou NVMe (Non-Volatile Memory Express). Pour en savoir plus, consultez Performances des disques SSD locaux.
L'interface SCSI est l'interface par défaut des disques SSD locaux des VM de cluster Dataproc. Exécutez la commande gcloud dataproc clusters create avec les options --master-local-ssd-interface, --worker-local-ssd-interface et --secondary-worker-local-ssd-interface pour spécifier l'interface SSD locale pour les nœuds maîtres, et les nœuds de calcul primaires et secondaires.
Définissez le champ numLocalSsds dans les paramètres masterConfig, workerConfig et secondaryWorkerConfig de la propriété InstanceGroupConfig dans une requête API cluster.create pour associer des disques SSD locaux aux nœuds maîtres, et aux nœuds de calcul primaires et secondaires du cluster.
Les disques SSD locaux peuvent être associés à des VM Dataproc à l'aide d'une interface SCSI (Small Computer System Interface) ou NVMe (Non-Volatile Memory Express) (voir Performances des disques SSD locaux).
L'interface SCSI est l'interface par défaut des disques SSD locaux des VM de cluster Dataproc. Définissez le champ localSsdInterface dans les paramètres masterConfig, workerConfig et secondaryWorkerConfig de la propriété InstanceGroupConfig dans une requête API cluster.create pour spécifier l'interface "SCSI" ou "NVME" permettant d'associer des disques SSD locaux aux nœuds maîtres, et aux nœuds de calcul primaires et secondaires du cluster.
Console
Créez un cluster et associez des disques SSD locaux au maître ainsi qu'aux nœuds de calcul principaux et secondaires depuis le panneau "Configurer les nœuds" de la page Créer un cluster de Dataproc dans la console Google Cloud .
Sauf indication contraire, le contenu de cette page est régi par une licence Creative Commons Attribution 4.0, et les échantillons de code sont régis par une licence Apache 2.0. Pour en savoir plus, consultez les Règles du site Google Developers. Java est une marque déposée d'Oracle et/ou de ses sociétés affiliées.
Dernière mise à jour le 2025/09/08 (UTC).
[[["Facile à comprendre","easyToUnderstand","thumb-up"],["J'ai pu résoudre mon problème","solvedMyProblem","thumb-up"],["Autre","otherUp","thumb-up"]],[["Difficile à comprendre","hardToUnderstand","thumb-down"],["Informations ou exemple de code incorrects","incorrectInformationOrSampleCode","thumb-down"],["Il n'y a pas l'information/les exemples dont j'ai besoin","missingTheInformationSamplesINeed","thumb-down"],["Problème de traduction","translationIssue","thumb-down"],["Autre","otherDown","thumb-down"]],["Dernière mise à jour le 2025/09/08 (UTC)."],[[["\u003cp\u003eLocal SSDs can be attached to master, primary worker, and secondary worker nodes in a cluster, offering faster read and write speeds compared to persistent disks.\u003c/p\u003e\n"],["\u003cp\u003eEach local SSD has a fixed size of 375GB, but multiple SSDs can be attached to increase the total SSD storage capacity.\u003c/p\u003e\n"],["\u003cp\u003eThe gcloud command-line tool and REST API provide methods to configure the number and interface type (SCSI or NVME) of local SSDs attached to each node type.\u003c/p\u003e\n"],["\u003cp\u003eLocal SSDs are automatically mounted to the \u003ccode\u003e/mnt/<id>\u003c/code\u003e directory on Dataproc cluster nodes and use the ext4 file system by default.\u003c/p\u003e\n"],["\u003cp\u003eYou can create a cluster with local SSDs from the "Configure Nodes" panel of the Dataproc cluster creation page of the google cloud console.\u003c/p\u003e\n"]]],[],null,["To supplement the boot disk, you can attach\n[local Solid State Drives (local SSDs)](/compute/docs/disks/local-ssd)\nto master, primary worker, and secondary worker nodes in your cluster.\nWhen local SSDs are provided to the cluster, both HDFS and scratch data,\nsuch as shuffle outputs, use the local SSDs instead of the boot\npersistent disk.\n\n- Local SSDs can provide faster read and write times than persistent disk (see [Local SSD Performance](/compute/docs/disks/local-ssd#performance)).\n- The 375GB size of each local SSD is fixed, but you can attach multiple local SSDs to increase SSD storage (see [About Local SSDs](/compute/docs/disks/local-ssd)).\n- Each local SSD is mounted to `/mnt/\u003cid\u003e` in Dataproc cluster nodes.\n- Local SSDs use [`ext4`](https://en.wikipedia.org/wiki/Ext4) as the default filesystem.\n\nUse local SSDs \n\ngcloud command\n\nUse the\n[`gcloud dataproc clusters create`](/sdk/gcloud/reference/dataproc/clusters/create)\ncommand with the `--num-master-local-ssds`,\n`--num-workers-local-ssds`, and\n`--num-secondary-worker-local-ssds` flags to attach local\nSSDs to the cluster's master, primary, and secondary worker\nnodes.\n\nLocal SSDs can be attached to Dataproc VMs using a SCSI\n(Small Computer System Interface) or NVME (Non-Volatile Memory Express) interface (see\n[local SSD performance](/compute/docs/disks/local-ssd#performance)).\nThe default Dataproc cluster VM local SSD interface is the SCSI interface. Use the\n[gcloud dataproc clusters create](/sdk/gcloud/reference/dataproc/clusters/create)\ncommand with the `--master-local-ssd-interface`,\n`--worker-local-ssd-interface`, and\n`--secondary-worker-local-ssd-interface` flags\nto specify the local SSD interface for master, primary, and secondary\nworker nodes.\n\n**Example:** \n\n```\ngcloud dataproc clusters create cluster-name \\\n --region=region \\\n --num-master-local-ssds=1 \\\n --num-worker-local-ssds=1 \\\n --num-secondary-worker-local-ssds=1 \\\n --master-local-ssd-interface=NVME \\\n --worker-local-ssd-interface=NVME \\\n --secondary-worker-local-ssd-interface=NVME \\\n ... other args ...\n```\n\nREST API\n\nSet the\n[numLocalSsds](/dataproc/docs/reference/rest/v1/ClusterConfig#diskconfig)\nfield in the `masterConfig`, `workerConfig`, and\n`secondaryWorkerConfig`\n[InstanceGroupConfig](/dataproc/docs/reference/rest/v1/ClusterConfig#InstanceGroupConfig)\nin a\n[cluster.create](/dataproc/docs/reference/rest/v1/projects.regions.clusters/create)\nAPI request to attach local SSDs to the cluster's master, primary worker, and\nsecondary worker nodes.\n\nLocal SSDs can be attached to Dataproc VMs using a SCSI\n(Small Computer System Interface) or NVME (Non-Volatile Memory Express) interface (see\n[local SSD performance](/compute/docs/disks/local-ssd#performance)).\nThe default Dataproc cluster VM local SSD interface is the SCSI interface. Set the\n[localSsdInterface](/dataproc/docs/reference/rest/v1/ClusterConfig#diskconfig)\nfield in the `masterConfig`, `workerConfig`, and\n`secondaryWorkerConfig`\n[InstanceGroupConfig](/dataproc/docs/reference/rest/v1/ClusterConfig#InstanceGroupConfig)\nin a\n[cluster.create](/dataproc/docs/reference/rest/v1/projects.regions.clusters/create)\nAPI request to specify the \"SCSI\" or \"NVME\" interface to attach local SSDs to the cluster's master,\nprimary worker, and secondary worker nodes.\n\nConsole\n\nCreate a cluster and attach local SSDs to the master,\nprimary, and secondary worker nodes from the Configure nodes panel of the\nDataproc\n[Create a cluster](https://console.cloud.google.com/dataproc/clustersAdd) page\nof the Google Cloud console."]]
