Colocação em zona automática do Dataproc

Quando você cria um cluster do Dataproc, os recursos do cluster usam endpoints regionais com base em Zonas do Compute Engine. Ao escolher uma região, é possível selecionar uma zona dentro dela ou omitir a zona em que o recurso Zona automática do Dataproc selecionará uma para você na região escolhida. Quando uma zona é selecionada, todos os nós desse cluster são implantados nela.

Zona automática e reservas de recursos

A zona automática prioriza a criação de um cluster em uma zona com reservas de recursos, da seguinte forma:

  • Se os recursos de cluster solicitados puderem ser totalmente satisfeitos com os recursos reservados, se necessário, os recursos sob demanda em uma zona, a zona automática vai consumir recursos reservados e sob demanda e criar o cluster nessa zona.

  • A zona automática prioriza zonas para seleção de acordo com o núcleo total da CPU (vCPU) reservas em uma zona.

    Exemplo:uma solicitação de criação de cluster especifica 20 n2-standard-2 e 1 n2-standard-64. (40 + 64 vCPUs solicitados). A zona automática priorizará as seguintes zonas para seleção de acordo com o total de reservas de vCPU disponíveis na zona:

    1. zone-c reservas disponíveis: 3 n2-standard-2 e 1 n2-standard-64 (70 vCPUs)
    2. zone-b reservas disponíveis: 1 n2-standard-64 (64 vCPUs)

    3. zone-a reservas disponíveis: 25 n2-standard-2 (50 vCPUs)

      Considerando que cada uma das zonas acima tem vCPU sob demanda adicionais e outros suficientes para atender à solicitação do cluster, a zona automática selecione zone-c para a criação do cluster.

  • Se os recursos de cluster solicitados não puderem ser totalmente atendidos pelo sinal de recursos sob demanda em uma zona, a zona automática cria o cluster em uma zona com maior probabilidade de satisfazer a solicitação usando recursos sob demanda.

Como usar a colocação em zona automática

Console

Para criar um cluster do Dataproc que usa a colocação em zona automática:

  • No console do Google Cloud, abra o Dataproc Criar um cluster do Dataproc no Compute Engine página. O painel Configurar cluster está selecionado.
  • Na seção Local:
    • Selecione uma Região para o cluster.
    • Em Zona, selecione "Qualquer".

Comando gcloud

Para criar um cluster do Dataproc que use a colocação em zona automática, use o comando gcloud dataproc clusters create. Defina a sinalização --region como uma região. omita a flag --zone (ou deixe-a em branco: --zone= ou zone="").

gcloud dataproc clusters create cluster-name \
    --region=region \
    --zone="" \
    other args ...

API REST

Para criar um cluster do Dataproc que use a colocação em zona automática, crie uma solicitação de API clusters.create JSON, deixando o campo gceClusterConfig.zoneUri vazio. No endpoint REST, https://dataproc.googleapis.com/v1/projects/projectId/regions/region/clusters, insira o nome da região. A zona automática do Dataproc vai escolher uma zona para o cluster dentro da região especificada.

Use nomes curtos de recursos com a colocação em zona automática: ao especificar um URI de recurso, como machineTypeUri ou acceleratorTypeUri, em uma solicitação de criação de cluster da API REST de posicionamento em zona automática, use um nome de recurso curto sem uma especificação de zona, por exemplo, “n1-standard-2” ou "nvidia-tesla-t4".