Para complementar o disco de inicialização, você pode anexar unidades de estado sólido locais (SSDs locais) aos workers mestre, primário e nó de trabalho secundário do cluster. Quando SSDs locais são fornecidos ao cluster, tanto o HDFS quanto os dados de trabalho, como as saídas aleatórias, usam os SSDs locais em vez do disco permanente de inicialização.
- Os SSDs locais podem fornecer tempos de leitura e gravação mais rápidos do que os disco permanente. Consulte Desempenho do SSD local.
- O tamanho de 375 GB de cada SSD local é fixo, mas é possível anexar vários SSDs locais para aumentar o armazenamento SSD. Consulte Sobre SSDs locais.
- Cada SSD local é montado em
/mnt/<id>
nos nós do cluster do Dataproc. - Os SSDs locais usam
ext4
como o sistema de arquivos padrão.
Como usar SSDs locais
Comando gcloud
Use o comando gcloud dataproc clusters create com as sinalizações --num-master-local-ssds
, --num-workers-local-ssds
e --num-secondary-worker-local-ssds
para anexar SSDs locais aos nós mestre, principal e secundário do cluster.
Os SSDs locais podem ser anexados às VMs do Dataproc usando uma interface
SCSI (Small Computer System Interface) ou NVME (Non-volatile Memory Express) (consulte
desempenho de SSD local).
A interface padrão do SSD local da VM do cluster do Dataproc é a interface do SCSI. Use o comando gcloud dataproc clusters create com as sinalizações --master-local-ssd-interface
, --worker-local-ssd-interface
e --secondary-worker-local-ssd-interface
para especificar a interface SSD local para os nós de trabalho mestre, primário e secundário.
Exemplo:
gcloud dataproc clusters create cluster-name \ --region=region \ --num-master-local-ssds=1 \ --num-worker-local-ssds=1 \ --num-secondary-worker-local-ssds=1 \ --master-local-ssd-interface=NVME \ --worker-local-ssd-interface=NVME \ --secondary-worker-local-ssd-interface=NVME \ ... other args ...
API REST
Defina o campo numLocalSsds em masterConfig
, workerConfig
e secondaryWorkerConfig
InstanceGroupConfig em uma solicitação de API cluster.create para anexar SSDs locais aos nós mestre, worker primário e secundário do cluster.
Os SSDs locais podem ser anexados às VMs do Dataproc usando uma interface
SCSI (Small Computer System Interface) ou NVME (Non-volatile Memory Express) (consulte
desempenho de SSD local).
A interface padrão do SSD local da VM do cluster do Dataproc é a interface do SCSI. Defina o campo localSsdInterface em masterConfig
, workerConfig
e secondaryWorkerConfig
InstanceGroupConfig em uma solicitação de API cluster.create para especificar a interface "SCSI" ou "NVME" para anexar SSDs locais aos nós mestre, worker principal e secundário do cluster.
Console
Crie um cluster e conecte SSDs locais a nós de trabalho mestre, primário e secundário pelo painel "Configurar nós" da página Criar um cluster do Dataproc no console do Google Cloud.