Esta página foi traduzida pela API Cloud Translation.

SSDs locais do Dataproc

Para complementar o disco de inicialização, você pode anexar unidades de estado sólido locais (SSDs locais) aos workers mestre, primário e nó de trabalho secundário do cluster. Quando os SSDs locais são fornecidos para o cluster, os dados do HDFS e do zero, como saídas aleatórias, usam os SSDs locais em vez do disco permanente de inicialização.

Os SSDs locais podem oferecer tempos de leitura e gravação mais rápidos do que os disco permanente. Consulte Desempenho do SSD local.
O tamanho de cada SSD local (375 GB) é fixo, mas é possível anexar vários SSDs locais para aumentar o armazenamento SSD (consulte Sobre os SSDs locais).
Cada SSD local é montado em /mnt/<id> nos nós de cluster do Dataproc.
Os SSDs locais usam ext4 como o sistema de arquivos padrão.

Como usar SSDs locais

Comando gcloud

Use o comando gcloud dataproc clusters create com as flags --num-master-local-ssds, --num-workers-local-ssds e --num-secondary-worker-local-ssds para anexar SSDs locais aos nós de worker mestre, primário e secundário do cluster.

Os SSDs locais podem ser conectados a VMs do Dataproc usando uma interface SCSI (Small Computer System Interface) ou NVME (Non-Volatile Memory Express). Consulte performance do SSD local. A interface padrão da VM do cluster do Dataproc para SSD local é a interface SCSI. Use o comando gcloud dataproc clusters create com as flags --master-local-ssd-interface, --worker-local-ssd-interface e --secondary-worker-local-ssd-interface para especificar a interface de SSD local para nós de worker mestre, principal e secundário.

Exemplo:

gcloud dataproc clusters create cluster-name \
    --region=region \
    --num-master-local-ssds=1 \
    --num-worker-local-ssds=1 \
    --num-secondary-worker-local-ssds=1 \
    --master-local-ssd-interface=NVME \
    --worker-local-ssd-interface=NVME \
    --secondary-worker-local-ssd-interface=NVME \
    ... other args ...

API REST

Defina o campo numLocalSsds em masterConfig, workerConfig e secondaryWorkerConfig InstanceGroupConfig em uma solicitação de API cluster.create para anexar SSDs locais aos nós mestre, de worker primário e de worker secundário do cluster.

Os SSDs locais podem ser conectados a VMs do Dataproc usando uma interface SCSI (Small Computer System Interface) ou NVME (Non-Volatile Memory Express). Consulte performance do SSD local. A interface padrão da VM do cluster do Dataproc para SSD local é a interface SCSI. Defina o campo localSsdInterface em masterConfig, workerConfig e secondaryWorkerConfig InstanceGroupConfig em uma solicitação de API cluster.create para especificar a interface "SCSI" ou "NVME" para anexar SSDs locais aos nós mestre, de worker primário e de worker secundário do cluster.

Console

Crie um cluster e anexe SSDs locais aos nós de trabalho mestre, principal e secundário no painel "Configurar nós" da página Criar um cluster do Dataproc do console do Google Cloud.