Detener e iniciar clústeres de Dataproc

Después de crear un clúster, puedes detenerlo y reiniciarlo cuando lo necesites. Si detienes un clúster inactivo, no se te cobrará y no tendrás que eliminarlo y crear otro con la misma configuración más adelante.

Notas:

• La función de inicio y detención de clústeres está disponible en los clústeres creados con imágenes lanzadas a partir de las siguientes versiones de imagen:
  • 1.4.35-debian10/ubuntu18
  • 1.5.10-debian10/ubuntu18
  • 2.0.0-RC6-debian10/ubuntu18
• No se recomienda detener nodos de clúster individuales, ya que el estado de una VM detenida puede no estar sincronizado con el estado del clúster, lo que puede provocar errores.

Nota: Para programar la detención de un clúster, consulta Detención programada de clústeres.

Detener un clúster

Si detienes un clúster, se detendrán todas las máquinas virtuales de Compute Engine del clúster. No se te cobrará por las VMs mientras estén detenidas. Sin embargo, seguirás pagando por los recursos del clúster asociados, como los discos persistentes.

Notas:

• Operaciones en curso: si un clúster tiene operaciones en curso, como operaciones de actualización o diagnóstico, la solicitud de detención fallará.
• Tareas en ejecución: si un clúster tiene tareas en ejecución, la solicitud de detención se completará correctamente: las VMs se detendrán y las tareas en ejecución fallarán.
• Detener respuesta: cuando la solicitud de detención devuelve una operación de detención, el clúster estará en estado STOPPING y no se permitirá enviar más trabajos (las solicitudes SubmitJob fallarán).
• Autoescalado: si detienes un clúster que tiene habilitado el autoescalado, la herramienta de autoescalado de Dataproc dejará de escalar el clúster. Se reanudará el escalado del clúster cuando se reinicie. Si habilitas el autoescalado en un clúster detenido, la política de autoescalado entrará en vigor cuando se reinicie el clúster.

Monitorizar la operación de detención

Puedes ejecutar gcloud dataproc operations describe operation-id para monitorizar la operación de detención del clúster de larga duración. Puedes usar el comando gcloud dataproc clusters describe cluster-name para monitorizar el cambio de estado del clúster de RUNNING a STOPPING y a STOPPED.

Limitaciones

• No puedes detener:

  • Clústeres con trabajadores secundarios
  • clústeres con SSDs locales

• Una vez que se detiene un clúster, no puedes hacer lo siguiente:

  • actualizar el clúster
  • enviar tareas al clúster
  • Acceder a los cuadernos que se ejecutan en el clúster mediante la pasarela de componentes de Dataproc

Iniciar un clúster

• Cuando reinicies un clúster detenido, no se volverán a ejecutar las acciones de inicialización. Las acciones de inicialización solo se ejecutan en los nodos del clúster cuando se crea el clúster o cuando se añaden nodos al aumentar la escala del clúster.

• Una vez completada la operación de inicio, puede enviar trabajos al clúster inmediatamente. Sin embargo, la ejecución de los trabajos puede retrasarse (aproximadamente 30 segundos) para permitir que HDFS y YARN empiecen a funcionar.

Cómo detener e iniciar un clúster

Puedes detener e iniciar un clúster mediante la Google Cloud consola, la CLI de gcloud o la API de Dataproc.

Google Cloud consola

En la página Clústeres de Dataproc de la Google Cloud consola, haz clic en el nombre del clúster y, a continuación, en DETENER para detenerlo o en INICIAR para iniciarlo.

CLI de gcloud

Detener un clúster

gcloud dataproc clusters stop CLUSTER_NAME \
    --region=REGION

Iniciar un clúster

gcloud dataproc clusters start CLUSTER_NAME \
    --region=REGION

API REST

Detener un clúster

Envía una solicitud clusters.stop.

Iniciar un clúster

Envía una solicitud clusters.start.