SSDs locais do Dataproc

Para complementar o disco de arranque, pode anexar unidades de estado sólido (SSD) locais aos nós principais, de trabalho primários e de trabalho secundários no seu cluster. Quando são fornecidos SSDs locais ao cluster, os dados do HDFS e os dados temporários, como as saídas de mistura, usam os SSDs locais em vez do disco persistente de arranque.

  • Os SSDs locais podem proporcionar tempos de leitura e escrita mais rápidos do que os discos persistentes (consulte Desempenho do SSD local).
  • O tamanho de 375 GB de cada SSD local é fixo, mas pode anexar vários SSDs locais para aumentar o armazenamento SSD (consulte o artigo Acerca dos SSDs locais).
  • Cada SSD local está montado em /mnt/<id> nos nós do cluster do Dataproc.
  • Os SSDs locais usam o ext4 como sistema de ficheiros predefinido.

Use SSDs locais

comando gcloud

Use o comando gcloud dataproc clusters create com as flags --num-master-local-ssds, --num-workers-local-ssds e --num-secondary-worker-local-ssds para anexar SSDs locais aos nós principal, primário e secundário do cluster.

Os SSDs locais podem ser anexados a VMs do Dataproc através de uma interface SCSI (Small Computer System Interface) ou NVME (Non-Volatile Memory Express) (consulte o desempenho dos SSDs locais). A interface de SSD local da VM do cluster do Dataproc predefinida é a interface SCSI. Use o comando gcloud dataproc clusters create com as flags --master-local-ssd-interface, --worker-local-ssd-interface e --secondary-worker-local-ssd-interface para especificar a interface SSD local para os nós trabalhadores principais, primários e secundários.

Exemplo:

gcloud dataproc clusters create cluster-name \
    --region=region \
    --num-master-local-ssds=1 \
    --num-worker-local-ssds=1 \
    --num-secondary-worker-local-ssds=1 \
    --master-local-ssd-interface=NVME \
    --worker-local-ssd-interface=NVME \
    --secondary-worker-local-ssd-interface=NVME \
    ... other args ...

API REST

Defina o campo numLocalSsds no masterConfig, workerConfig e secondaryWorkerConfig InstanceGroupConfig num pedido da API cluster.create para anexar SSDs locais ao nó principal, ao nó de trabalho principal e ao nó de trabalho secundário do cluster.

Os SSDs locais podem ser anexados a VMs do Dataproc através de uma interface SCSI (Small Computer System Interface) ou NVME (Non-Volatile Memory Express) (consulte o desempenho dos SSDs locais). A interface de SSD local da VM do cluster do Dataproc predefinida é a interface SCSI. Defina o campo localSsdInterface no masterConfig, workerConfig e secondaryWorkerConfig InstanceGroupConfig num pedido da API cluster.create para especificar a interface "SCSI" ou "NVME" para anexar SSDs locais aos nós principais, de trabalho primários e de trabalho secundários do cluster.

Consola

Crie um cluster e anexe SSDs locais aos nós principais, primários e secundários do trabalhador no painel Configure nodes (Configurar nós) da página Dataproc Create a cluster (Criar um cluster) da Google Cloud consola.