Esta página foi traduzida pela API Cloud Translation.

SSDs locais do Dataproc

Para complementar o disco de inicialização, você pode anexar unidades de estado sólido locais (SSDs locais) aos workers mestre, primário e nó de trabalho secundário do cluster. Quando os SSDs locais são fornecidos para o cluster, os dados do HDFS e do zero, como saídas aleatórias, usam os SSDs locais em vez do disco persistente de inicialização.

Os SSDs locais podem oferecer tempos de leitura e gravação mais rápidos do que os discos permanentes. Consulte Desempenho do SSD local.
O tamanho de 375 GB de cada SSD local é fixo, mas é possível anexar vários SSDs locais a aumente o armazenamento SSD (consulte Sobre SSDs locais).
Cada SSD local é montado em /mnt/<id> nos nós de cluster do Dataproc.
Os SSDs locais usam ext4 como o sistema de arquivos padrão.

Como usar SSDs locais

Comando gcloud

Use o comando gcloud dataproc clusters create com as flags --num-master-local-ssds, --num-workers-local-ssds e --num-secondary-worker-local-ssds para anexar SSDs locais aos nós de worker mestre, primário e secundário do cluster.

Os SSDs locais podem ser anexados às VMs do Dataproc usando um SCSI Interface de sistema de computador pequeno (NVME) ou de memória não volátil (NVME, na sigla em inglês) (consulte desempenho do SSD local). A interface de SSD local padrão da VM do cluster do Dataproc é a interface SCSI. Use o comando gcloud dataproc clusters create com as flags --master-local-ssd-interface, --worker-local-ssd-interface e --secondary-worker-local-ssd-interface para especificar a interface de SSD local para nós de worker mestre, principal e secundário.

Exemplo:

gcloud dataproc clusters create cluster-name \
    --region=region \
    --num-master-local-ssds=1 \
    --num-worker-local-ssds=1 \
    --num-secondary-worker-local-ssds=1 \
    --master-local-ssd-interface=NVME \
    --worker-local-ssd-interface=NVME \
    --secondary-worker-local-ssd-interface=NVME \
    ... other args ...

API REST

Defina o numLocalSsds nos campos masterConfig, workerConfig e secondaryWorkerConfig InstanceGroupConfig em um cluster.create solicitação de API para anexar SSDs locais ao mestre, ao worker primário e nós de trabalho secundários.

Os SSDs locais podem ser conectados a VMs do Dataproc usando uma interface SCSI (Small Computer System Interface) ou NVME (Non-Volatile Memory Express). Consulte performance do SSD local. A interface padrão da VM do cluster do Dataproc para SSD local é a interface SCSI. Defina o campo localSsdInterface em masterConfig, workerConfig e secondaryWorkerConfig InstanceGroupConfig em uma solicitação de API cluster.create para especificar a interface "SCSI" ou "NVME" para anexar SSDs locais aos nós mestre, de worker primário e de worker secundário do cluster.

Console

Crie um cluster e anexe SSDs locais aos nós de trabalho mestre, principal e secundário no painel "Configurar nós" da página Criar um cluster do Dataproc do console do Google Cloud.