Después de crear un clúster, puedes detenerlo y, luego, reiniciarlo cuando lo necesites. Detener un clúster inactivo evita que se apliquen cargos y evita la necesidad de borrar un clúster inactivo y, luego, crea un clúster con la misma configuración más adelante.
Notas sobre las funciones:
- La función de inicio y detención del clúster solo es compatible con las versiones de imagen de Dataproc siguientes o superiores:
- 1.4.35-debian10/ubuntu18
- 1.5.10-debian10/ubuntu18
- 2.0.0-RC6-debian10/ubuntu18
- No se recomienda detener los nodos de clústeres individuales, ya que el estado de una VM detenida podría no estar sincronizado con el estado del clúster, lo que puede generar errores.
Detén un clúster
Si detienes un clúster, se detendrán todas las VM de Compute Engine del clúster. No pagarás por estas VM mientras estén detenidas. Sin embargo, continúa pagando por cualquier recurso de clúster asociado, como los discos persistentes.
Notas:
- Operaciones en ejecución: Si un clúster tiene operaciones en ejecución (como actualización o diagnóstico de operaciones), la solicitud de detención fallará.
- Trabajos en ejecución: Si un clúster tiene trabajos en ejecución, la solicitud de detención se realizará de forma correcta, las VM se detendrán y los trabajos en ejecución fallarán.
- Respuesta de detención: cuando la solicitud de detención muestra una operación de detención al usuario o al emisor en la respuesta, el clúster estará en el estado
STOPPINGy no se permitirá enviar más trabajos (no se podrán enviar las solicitudesSubmitJob). - Ajuste de escala automático: Si detienes un clúster que tiene habilitado el ajuste de escala automático, el escalador automático de Dataproc dejará de escalar el clúster. Se reanudará el escalamiento del clúster una vez que se haya iniciado de nuevo. Si habilitas el ajuste de escala automático en un clúster detenido, la política de ajuste de escala automático solo tendrá efecto una vez que se inicie el clúster.
Supervisa la operación de detención
Puedes ejecutar gcloud dataproc operations describe operation-id para supervisar la operación de detención del clúster de larga duración. También puedes usar el comando gcloud dataproc clusters describe cluster-name para supervisar la transición del estado del clúster de RUNNING a STOPPING a STOPPED.
Limitaciones
No puedes detener lo siguiente:
- clústeres con trabajadores secundarios
- clústeres con ssd locales
Después de detener un clúster, no puedes realizar las siguientes acciones:
- Actualiza el clúster:
- Enviar trabajos al clúster
- Acceder a los notebooks en el clúster con la puerta de enlace de componentes de Dataproc
Inicia un clúster
Cuando inicias un clúster detenido, las acciones de inicialización no se vuelven a ejecutar. Las acciones de inicialización solo se ejecutan en los nodos del clúster cuando se crea y cuando los nodos se agregan cuando se escala verticalmente.
Una vez que se completa la operación de inicio, puedes enviar trabajos al clúster de inmediato. Sin embargo, la ejecución de estos trabajos se puede retrasar (alrededor de 30 segundos) para permitir que HDFS y YARN funcionen.
Usa la detención/inicio
Puedes iniciar y detener un clúster con gcloud CLI o la API de Dataproc.
Comando de gcloud
Detén un clúster
gcloud dataproc clusters stop cluster-name \ --region=region
Iniciar un clúster
gcloud dataproc clusters start cluster-name \ --region=region
API de REST
Detén un clúster
Envía una solicitud clusters.stop.
Iniciar un clúster
Envía una solicitud clusters.start.
Console
Haz clic en el nombre del clúster desde la página Clústeres de Dataproc en la consola de Google Cloud y, luego, en DETENER para iniciar y detener el clúster.