Para complementar o disco de inicialização, você pode anexar
unidades de estado sólido locais (SSDs locais)
aos workers mestre, primário e nó de trabalho secundário do cluster. Os SSDs locais podem oferecer tempos de leitura e gravação mais rápidos do que discos permanentes. O tamanho de cada SSD local (375 GB) é fixo, mas é possível anexar vários SSDs locais para aumentar o armazenamento SSD (consulte Como adicionar SSDs locais). Cada SSD local é ativado em /mnt/<id> nos nós de cluster do Dataproc.
Quando os SSDs locais são fornecidos para o cluster, os dados do HDFS e do zero,
como saídas aleatórias, usam os SSDs locais em vez do
Persistent Disk de inicialização.
Como usar SSDs locais
Comando gcloud
Use o comando gcloud dataproc clusters create com os sinalizadores --num-master-local-ssds, --num-workers-local-ssds e --num-secondary-worker-local-ssds para anexar SSDs locais aos nós mestre, de worker primário e de worker secundário do cluster (preemptivo), respectivamente.
Exemplo:
gcloud dataproc clusters create cluster-name \ --region=region \ --num-master-local-ssds=1 \ --num-worker-local-ssds=1 \ --num-secondary-worker-local-ssds=1 \ ... other args ...
API REST
Defina o campo numLocalSsds em masterConfig, workerConfig e secondaryWorkerConfig InstanceGroupConfig em uma solicitação de API cluster.create para anexar SSDs locais aos nós mestre, de worker primário e de worker secundário (preemptivo), respectivamente.
Console
Crie um cluster e anexe SSDs locais aos nós de trabalho mestre, principais e secundários no painel "Configurar nós" da página Criar um cluster do Dataproc do Console do Google Cloud.