Ao criar um cluster do Dataproc, os recursos do cluster usam endpoints regionais com base nas zonas do Compute Engine. Ao escolher uma região, é possível selecionar uma zona dentro dessa região ou omiti-la para que o recurso Zona automática do Dataproc selecione uma para você na região escolhida. Quando uma zona é selecionada, todos os nós desse cluster são implantados nela.
Zona automática e reservas de recursos
A zona automática prioriza a criação de cluster em uma zona com reservas de recursos da seguinte maneira:
Se os recursos de cluster solicitados puderem ser totalmente atendidos por recursos reservados e, se necessário, recursos sob demanda em uma zona, a zona automática consumirá os recursos reservados e sob demanda e criará o cluster nessa zona.
A zona automática prioriza zonas para seleção de acordo com o total de reservas de núcleo da CPU (
vCPU
) em uma zona.Exemplo:uma solicitação de criação de cluster especifica 20
n2-standard-2
e 1n2-standard-64
(40 + 64vCPUs
solicitados). A zona automática vai priorizar as zonas a seguir para seleção de acordo com o total de reservas de vCPU disponíveis na zona:zone-c
reservas disponíveis: 3n2-standard-2
e 1n2-standard-64
(70vCPUs
)zone-b
reservas disponíveis: 1n2-standard-64
(64vCPUs
)zone-a
reservas disponíveis: 25n2-standard-2
(50vCPUs
)Supondo que cada uma das zonas acima tenha
vCPU
sob demanda extra e outros recursos suficientes para atender à solicitação do cluster, a zona automática selecionarázone-c
para a criação do cluster.
Se os recursos de cluster solicitados não puderem ser totalmente atendidos pelos recursos reservados e sob demanda em uma zona, a zona automática criará o cluster em uma zona com maior probabilidade de atender à solicitação usando recursos sob demanda.
Como usar a colocação em zona automática
Console
Para criar um cluster do Dataproc que usa a colocação em zona automática:
- No console do Google Cloud, abra a página Criar um cluster do Dataproc no Compute Engine. O painel Configurar cluster está selecionado.
- Na seção Local:
- Selecione uma Região para o cluster.
- Em Zona, selecione "Qualquer".
Comando gcloud
Para criar um cluster do Dataproc que use a colocação em zona automática, use o comando gcloud dataproc clusters create. Defina a sinalização --region
como uma região e omita a sinalização --zone
(ou deixe a sinalização vazia: --zone=
ou zone=""
).
gcloud dataproc clusters create cluster-name \ --region=region \ --zone="" \ other args ...
API REST
Para criar um cluster do Dataproc que use a colocação em zona automática, crie uma solicitação de API clusters.create JSON, deixando o campo gceClusterConfig.zoneUri vazio. No endpoint REST,
https://dataproc.googleapis.com/v1/projects/projectId/regions/region/clusters
, insira um nome de região. A zona automática do Dataproc escolherá
uma zona para o cluster dentro da região especificada.
Use nomes de recursos curtos com a colocação em zona automática: ao especificar um URI de recurso, como machineTypeUri ou acceleratorTypeUri em uma solicitação de criação de cluster da API REST de posicionamento em zona automática, use um nome de recurso curto sem especificação de zona, por exemplo, "n1-standard-2" ou "nvidia-tesla-t4".