Discos de arranque do Dataproc

Seleciona o disco persistente padrão, SSD ou equilibrado, ou o Google Cloud Hyperdisk equilibrado como discos de arranque para os nós do cluster do Dataproc.

Selecione tipos de discos de arranque persistentes para nós do cluster

Pode selecionar o tipo de disco de arranque persistente quando cria um cluster através da Google Cloud consola, da CLI Google Cloud ou da API Dataproc.

Consola

Pode criar um cluster e selecionar um disco persistente padrão, SSD, equilibrado ou um disco de arranque Hyperdisk Balanced para os nós do cluster de gestor (principal), de trabalho principal e de trabalho secundário no painel Configurar nós da página Criar um cluster do Google Cloud console.

CLI gcloud

Pode criar um cluster e selecionar um disco de arranque persistente padrão, SSD, equilibrado ou Hyperdisk equilibrado para os nós do cluster de gestor (principal), de trabalho principal e de trabalho secundário através do comando gcloud dataproc clusters create com as flags --master-boot-disk-type, --worker-boot-disk-type e --secondary-worker-boot-disk-type.

O tipo de disco de arranque persistente predefinido para o gestor de clusters (principal) do Dataproc e os nós de trabalho primários é pd-standard. Se o tipo de máquina da VM só suportar o Hyperdisk Balanced como disco de arranque, o disco de arranque predefinido é hyperdisk-balanced. O tipo de disco de arranque persistente predefinido para os nós de trabalho secundários do cluster é o tipo de disco de arranque persistente do nó de trabalho principal.

Pode transmitir um valor de pd-standard, pd-ssd, pd-balanced ou hyperdisk-balanced para as flags --master-boot-disk-type, --worker-boot-disk-type e --secondary-worker-boot-disk-type. Qualquer um dos valores de tipo de disco válidos pode ser definido em qualquer tipo de nó do cluster.

Exemplo:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    --secondary-worker-boot-disk-type=pd-standard \
    other args ...

p

Pode definir o tamanho dos discos de arranque persistentes através das sinalizações --master-boot-disk-size, --worker-boot-disk-size e --secondary-worker-boot-disk-size.

API REST

O tipo de disco de arranque predefinido para o gestor de clusters (principal) e os nós de trabalho primários do Dataproc é pd-standard. Se o tipo de máquina da VM suportar apenas o Hyperdisk Balanced como disco de arranque, o disco de arranque predefinido é o hyperdisk-balanced. O tipo de disco de arranque predefinido para nós de trabalhador secundário é o tipo de disco de arranque do nó de trabalho principal.

Pode definir um valor de pd-standard, pd-ssd, pd-balanced ou hyperdisk-balanced no campo InstanceGroupConfig.DiskConfig.bootDiskType em masterConfig, workerConfig e secondaryWorkerConfig como parte de um pedido API cluster.create. Qualquer um dos valores de tipo de disco de arranque válidos pode ser definido em qualquer tipo de nó do cluster.

Nota: defina o tamanho do disco de arranque por nó através do campo InstanceGroupConfig.DiskConfig.bootDiskSizeGb na configuração do nó principal, do nó de trabalho ou do nó de trabalho secundário.

Definições do Hyperdisk

Quando cria um cluster com um volume Hyperdisk Balanced como disco de arranque para um nó de cluster do Dataproc, pode definir os IOPS e o débito aprovisionados.

Consola

O Hyperdisk Balanced está selecionado como o tipo de disco de arranque principal predefinido para os nós do cluster principal e do worker principal no painel Configurar nós na página Criar um cluster da consola Google Cloud . Pode definir as IOPS e a taxa de transferência ou aceitar os valores predefinidos.

CLI gcloud

Pode definir IOPS aprovisionados e débito aprovisionado para nós de cluster com os discos de arranque hyperdisk-balanced através dos comandos gcloud dataproc clusters create, --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput e --worker-boot-disk-provisioned-throughput.

Exemplo:

  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...
  

Os trabalhadores secundários são configurados com as definições do disco de arranque do trabalhador principal.

API REST

Pode definir IOPS aprovisionados e débito aprovisionado para nós do cluster com discos de arranque do Hyperdisk através dos campos InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops e InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput para as configurações do gestor (principal) e do trabalhador.