SSDs locais do Dataproc

Para complementar o disco de inicialização, você pode anexar unidades de estado sólido locais (SSDs locais) aos workers mestre, primário e nó de trabalho secundário do cluster. Quando SSDs locais são fornecidos ao cluster, tanto o HDFS quanto os dados de trabalho, como as saídas aleatórias, usam os SSDs locais em vez do disco permanente de inicialização.

  • Os SSDs locais podem fornecer tempos de leitura e gravação mais rápidos do que os disco permanente. Consulte Desempenho do SSD local.
  • O tamanho de 375 GB de cada SSD local é fixo, mas é possível anexar vários SSDs locais para aumentar o armazenamento SSD. Consulte Sobre SSDs locais.
  • Cada SSD local é montado em /mnt/<id> nos nós do cluster do Dataproc.
  • Os SSDs locais usam ext4 como o sistema de arquivos padrão.

Como usar SSDs locais

Comando gcloud

Use o comando gcloud dataproc clusters create com as sinalizações --num-master-local-ssds, --num-workers-local-ssds e --num-secondary-worker-local-ssds para anexar SSDs locais aos nós mestre, principal e secundário do cluster.

Os SSDs locais podem ser anexados às VMs do Dataproc usando uma interface SCSI (Small Computer System Interface) ou NVME (Non-volatile Memory Express) (consulte desempenho de SSD local). A interface padrão do SSD local da VM do cluster do Dataproc é a interface do SCSI. Use o comando gcloud dataproc clusters create com as sinalizações --master-local-ssd-interface, --worker-local-ssd-interface e --secondary-worker-local-ssd-interface para especificar a interface SSD local para os nós de trabalho mestre, primário e secundário.

Exemplo:

gcloud dataproc clusters create cluster-name \
    --region=region \
    --num-master-local-ssds=1 \
    --num-worker-local-ssds=1 \
    --num-secondary-worker-local-ssds=1 \
    --master-local-ssd-interface=NVME \
    --worker-local-ssd-interface=NVME \
    --secondary-worker-local-ssd-interface=NVME \
    ... other args ...

API REST

Defina o campo numLocalSsds em masterConfig, workerConfig e secondaryWorkerConfig InstanceGroupConfig em uma solicitação de API cluster.create para anexar SSDs locais aos nós mestre, worker primário e secundário do cluster.

Os SSDs locais podem ser anexados às VMs do Dataproc usando uma interface SCSI (Small Computer System Interface) ou NVME (Non-volatile Memory Express) (consulte desempenho de SSD local). A interface padrão do SSD local da VM do cluster do Dataproc é a interface do SCSI. Defina o campo localSsdInterface em masterConfig, workerConfig e secondaryWorkerConfig InstanceGroupConfig em uma solicitação de API cluster.create para especificar a interface "SCSI" ou "NVME" para anexar SSDs locais aos nós mestre, worker principal e secundário do cluster.

Console

Crie um cluster e conecte SSDs locais a nós de trabalho mestre, primário e secundário pelo painel "Configurar nós" da página Criar um cluster do Dataproc no console do Google Cloud.