Los clústeres de Dataproc pueden crearse en nodos de usuario único de Compute Engine. Un nodo de instancia única es un servidor de Compute Engine dedicado a alojar solo las VM de tu proyecto. Crear un clúster de Dataproc en un nodo de instancia única mantiene las VM del clúster separadas físicamente de las VM en otros proyectos. Los clústeres funcionan como clústeres estándar de Dataproc, pero con aislamiento de hardware adicional para abordar problemas de seguridad y cumplimiento.
Los clústeres de nodo de instancia única de Dataproc se crean en un grupo de nodos de usuario único especificado por el usuario. Las instancias de trabajador principal y secundaria de cada clúster se crearán dentro de este grupo de nodo de usuario único.
Primeros pasos
Consulta Antes de comenzar.
Crea un grupo de nodo de usuario único.
Usa el grupo de nodos de ajuste de escala automático si crearás clústeres de ajuste de escala automático en el grupo de nodos de usuario único.
Recomendaciones sobre el ajuste de escala automático de grupos de nodos:
- Asegúrate de que los
max-nodes
del grupo de nodos sean suficiente para lasmaxInstances
de los clústeres que crearás en el grupo de nodos de usuario único. - Usa la política de mantenimiento del grupo de nodos predeterminada o
migrate-within-node-group
. Es posible que las VM no estén disponibles durante una hora con la políticarestart-in-place
.
- Asegúrate de que los
Crea un clúster de usuario único
Antes de crear un clúster de usuario único, consulta las restricciones de VM de nodo de usuario único.
Si creas un clúster de ajuste de escala automático en un grupo de nodo de usuario único, se recomienda que el grupo de nodos también use el ajuste de escala automático (consulta Recomendaciones sobre el ajuste de escala automático de grupos de nodos).
Comando de gcloud
Para crear un clúster de usuario único, pasa la marca --node-group
al comando de gcloud dataproc clusters create.
Notas de las marcas:
--region
(obligatoria): Debe coincidir con la región del grupo de usuario único.--node-group
(obligatorio): Puedes especificar el nombre de grupo de nodos de usuario único (“node-group-name”) o la URI de recurso de grupo de nodos de usuario único (“projects/project-id/)zones/zone/nodeGroups/node-group-name”).--zone
(obligatoria): La zona del clúster debe coincidir con la zona del grupo de nodos de usuario único.
gcloud dataproc clusters create cluster-name \ --region=region \ --zone=zone \ --node-group=node group resource name or URI \ ... other args
API de REST
Crea un clúster de usuario único con una solicitud clusters.create que especifique el NodeGroupAffinity.nodeGroupUri del grupo del nodo de usuario único.
Nota: La zona del clúster especificada en el campo zoneUri
debe coincidir con la zona del grupo de nodo de usuario único.
Console
Actualmente, crear un clúster de Dataproc de usuario único es no es compatible con la consola de Google Cloud.