Clústeres de nodo de usuario único

Los clústeres de Dataproc pueden crearse en nodos de usuario único de Compute Engine. Un nodo de instancia única es un servidor de Compute Engine dedicado a alojar solo las VM de tu proyecto. Crear un clúster de Dataproc en un nodo de instancia única mantiene las VM del clúster separadas físicamente de las VM en otros proyectos. Los clústeres funcionan como clústeres estándar de Dataproc, pero con aislamiento de hardware adicional para abordar problemas de seguridad y cumplimiento.

Los clústeres de nodo de instancia única de Dataproc se crean en un grupo de nodos de usuario único especificado por el usuario. Las instancias de trabajador principal y secundaria de cada clúster se crearán dentro de este grupo de nodo de usuario único.

Primeros pasos

  1. Consulta Antes de comenzar.

  2. Crea una plantilla de nodo de usuario único.

  3. Crea un grupo de nodo de usuario único.

    • Usa el grupo de nodos de ajuste de escala automático si crearás clústeres de ajuste de escala automático en el grupo de nodos de usuario único.

      Recomendaciones sobre el ajuste de escala automático de grupos de nodos:

      • Asegúrate de que los max-nodes del grupo de nodos sean suficiente para las maxInstances de los clústeres que crearás en el grupo de nodos de usuario único.
      • Usa la política de mantenimiento del grupo de nodos predeterminada o migrate-within-node-group. Es posible que las VM no estén disponibles durante una hora con la política restart-in-place.

Crea un clúster de usuario único

Comando de gcloud

Para crear un clúster de usuario único, pasa la marca --node-group al comando de gcloud dataproc clusters create.

Notas de las marcas:

  • --region (obligatoria): Debe coincidir con la región del grupo de usuario único.
  • --node-group (obligatorio): Puedes especificar el nombre de grupo de nodos de usuario único (“node-group-name”) o la URI de recurso de grupo de nodos de usuario único (“projects/project-id/)zones/zone/nodeGroups/node-group-name”).
  • --zone (obligatoria): La zona del clúster debe coincidir con la zona del grupo de nodos de usuario único.
gcloud dataproc clusters create cluster-name \
    --region=region \
    --zone=zone \
    --node-group=node group resource name or URI \
    ... other args
  

API de REST

Crea un clúster de usuario único con una solicitud clusters.create que especifique el NodeGroupAffinity.nodeGroupUri del grupo del nodo de usuario único.

Nota: La zona del clúster especificada en el campo zoneUri debe coincidir con la zona del grupo de nodo de usuario único.

Console

Actualmente, crear un clúster de Dataproc de usuario único es no es compatible con la consola de Google Cloud.