Clústeres de nodo de usuario único

Los clústeres de Dataproc pueden crearse en nodos de usuario único de Compute Engine. Un nodo de instancia única es un servidor de Compute Engine dedicado a alojar solo las VM de tu proyecto. Crear un clúster de Dataproc en un nodo de instancia única mantiene las VM del clúster separadas físicamente de las VM en otros proyectos. Los clústeres funcionan como clústeres estándar de Dataproc, pero con aislamiento de hardware adicional para abordar problemas de seguridad y cumplimiento.

Los clústeres de nodo de instancia única de Dataproc se crean en un grupo de nodos de usuario único especificado por el usuario. Las instancias de trabajador principal y secundaria de cada clúster se crearán dentro de este grupo de nodo de usuario único.

Precaución: Dataproc usa de forma predeterminada las VM interrumpibles para los trabajadores secundarios, que no son compatibles con los nodo de usuario único de Compute Engine. Si planeas usar trabajadores secundarios con tu clúster de usuario único, agregando manualmente o usas una política de ajuste de escala automático que escala verticalmente los trabajadores secundarios, debe configurar su tipo de trabajador secundario como no interrumpible.

Primeros pasos

1. Consulta Antes de comenzar.

2. Crea una plantilla de nodo de usuario único.

3. Crea un grupo de nodo de usuario único.

   • Usa el grupo de nodos de ajuste de escala automático si crearás clústeres de ajuste de escala automático en el grupo de nodos de usuario único.

     Recomendaciones sobre el ajuste de escala automático de grupos de nodos:

     • Asegúrate de que los max-nodes del grupo de nodos sean suficiente para las maxInstances de los clústeres que crearás en el grupo de nodos de usuario único.
     • Usa la política de mantenimiento del grupo de nodos predeterminada o migrate-within-node-group. Es posible que las VM no estén disponibles durante una hora con la política restart-in-place.

Crea un clúster de usuario único

• Antes de crear un clúster de usuario único, consulta las restricciones de VM de nodo de usuario único.

• Si creas un clúster de ajuste de escala automático en un grupo de nodo de usuario único, se recomienda que el grupo de nodos también use el ajuste de escala automático (consulta Recomendaciones sobre el ajuste de escala automático de grupos de nodos).

Comando de gcloud

Para crear un clúster de usuario único, pasa la marca --node-group al comando de gcloud dataproc clusters create.

Notas de las marcas:

• --region (obligatoria): Debe coincidir con la región del grupo de usuario único.
• --node-group (obligatorio): Puedes especificar el nombre de grupo de nodos de usuario único (“node-group-name”) o la URI de recurso de grupo de nodos de usuario único (“projects/project-id/)zones/zone/nodeGroups/node-group-name”).
• --zone (obligatoria): La zona del clúster debe coincidir con la zona del grupo de nodos de usuario único.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --zone=zone \
    --node-group=node group resource name or URI \
    ... other args
  

API de REST

Crea un clúster de usuario único con una solicitud clusters.create que especifique el NodeGroupAffinity.nodeGroupUri del grupo del nodo de usuario único.

Nota: La zona del clúster especificada en el campo zoneUri debe coincidir con la zona del grupo de nodo de usuario único.

Una forma sencilla de examinar y construir el cuerpo JSON de una solicitud de clúster de la API de Dataproc es abrir la página Create a cluster de la consola de Google Cloud, completar los campos correspondientes y, luego, hacer clic en el botón Equivalent REST en la parte inferior del panel izquierdo para ver la solicitud POST con el cuerpo de la solicitud JSON completa.

Console

Por el momento, crear un clúster de Dataproc de usuario único no es compatible con la consola de Google Cloud.