Discos de inicialização permanentes do Dataproc

Você seleciona discos permanentes padrão, SSD, balanceados ou balanceado de hiperdisco como discos de inicialização para os nós do cluster do Dataproc.

Selecionar tipos de disco de inicialização persistente para nós de cluster

É possível selecionar o tipo de disco de inicialização persistente ao criar um cluster usando o console do Google Cloud, a Google Cloud CLI ou a API Dataproc.

Console

É possível criar um cluster e selecionar um disco de inicialização padrão, SSD ou balanceado para os nós mestre, de worker primário e de worker secundário no painel Configurar nós na página Criar um cluster do Dataproc no console do Google Cloud.

CLI da gcloud

É possível criar um cluster e selecionar um disco de inicialização padrão, SSD, persistente e balanceado ou hyperdisk balanced para os nós mestre, de worker primário e de worker secundário usando o comando gcloud dataproc clusters create com as flags --master-boot-disk-type, --worker-boot-disk-type e --secondary-worker-boot-disk-type.

O tipo de disco de inicialização permanente padrão para nós mestre e de trabalho primários do cluster do Dataproc é pd-standard. Se o tipo de máquina da VM oferecer suporte apenas ao hiperdisco como disco de inicialização, o disco de inicialização padrão será hyperdisk-balanced. O tipo de disco de inicialização permanente padrão para nós de worker secundários do cluster é o tipo de disco de inicialização permanente do nó de worker principal.

É possível transmitir um valor de pd-standard, pd-ssd, pd-balanced ou hyperdisk-balanced para as flags --master-boot-disk-type, --worker-boot-disk-type e --secondary-worker-boot-disk-type. Qualquer um dos valores válidos de tipo de disco pode ser definido em qualquer tipo de nó de cluster.

Exemplo:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    --secondary-worker-boot-disk-type=pd-standard \
    other args ...

p

É possível definir o tamanho dos discos de inicialização permanentes usando as sinalizações --master-boot-disk-size, --worker-boot-disk-size e --secondary-worker-boot-disk-size.

API REST

O tipo de disco de inicialização padrão para nós mestre e de trabalho primário do cluster do Dataproc é pd-standard. Se o tipo de máquina da VM oferecer suporte apenas ao hiperdisco como disco de inicialização, o disco de inicialização padrão será hyperdisk-balanced. O tipo de disco de inicialização padrão para nós de worker secundário é o tipo de disco de inicialização do nó de trabalho principal.

É possível definir um valor de pd-standard, pd-ssd, pd-balanced ou hyperdisk-balanced no campo InstanceGroupConfig.DiskConfig.bootDiskType em masterConfig, workerConfig e secondaryWorkerConfig como parte de uma solicitação de API cluster.create. Qualquer um dos valores válidos do tipo de disco de inicialização pode ser definido em qualquer tipo de nó de cluster.

Observação: defina o tamanho do disco de inicialização por nó usando o campo InstanceGroupConfig.DiskConfig.bootDiskSizeGb na configuração do mestre, worker ou worker secundário.

Configurações do hiperdisco

Ao criar um cluster, se você selecionar hyperdisk-balanced como o disco de inicialização de um nó de cluster do Dataproc, poderá usar a CLI gcloud ou a API Dataproc para definir as configurações de IOPS provisionados e throughput provisionado.

CLI da gcloud

Defina as IOPS e a taxa de transferência provisionadas para os nós do cluster com os discos de inicialização do hiperdisco equilibrado usando as flags gcloud dataproc clusters create --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput e --worker-boot-disk-provisioned-throughput.

Exemplo:

  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...
  

Os workers secundários são configurados com as configurações do disco de inicialização do worker principal.

API REST

Defina as IOPS e a capacidade de processamento provisionadas para nós de cluster com discos de inicialização do hiperdisco usando os campos InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops e InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput para as configurações mestre e de worker.