Eliminación programada de clústeres

Para ayudar a evitar que se apliquen cargos de Google Cloud Platform debido a un clúster inactivo, usa la característica de eliminación programada de clústeres de Cloud Dataproc cuando crees un clúster. Esta característica proporciona opciones para borrar un clúster, en los siguientes momentos:

  • después de un período de inactividad del clúster específico
  • en un momento futuro específico
  • después de un período específico que comienza con el envío de la solicitud de creación de clústeres

Usa la eliminación programada de clústeres

Comando de gcloud

Puedes crear un clúster con la característica Eliminación programada de clústeres. Para ello, pasa las siguientes marcas de eliminación programada al comando /sdk/gcloud/reference/beta/dataproc/clusters/create.

MarcaDescripciónMayor nivel de detalleValor mín.Valor máx.
--max-idle1El tiempo que transcurre desde que el clúster entra en estado inactivo hasta que comienza a borrar. Muestra la duración en formato de IntegerUnit, en el que la unidad puede ser “s, m, h, d” (segundos, minutos, horas, días, respectivamente). Ejemplos: “30m” o “1d” (30 minutos o 1 día desde que el clúster entra en estado inactivo).1 segundo10 minutos14 días
--expiration-time2El momento en que se comienza a borrar el clúster en el formato de fecha y hora ISO 8601. Una forma fácil de generar la fecha y hora en el formato correcto es a través de Timestamp Generator. Por ejemplo, “2017-08-22T13:31:48-08:00” indica la hora de vencimiento 13:21:48 en la zona horaria UTC-8:00.1 segundo10 minutos desde la hora actual 14 días desde la hora actual
--max-age2El tiempo que transcurre desde que se envía la solicitud de creación de clústeres hasta que este comienza a borrar. Muestra la duración en formato de IntegerUnit, en el que la unidad puede ser “s, m, h, d” (segundos, minutos, horas, días, respectivamente). Ejemplos: “30m” (30 minutos desde ahora) o “1d” (1 día desde ahora).1 segundo10 minutos14 días
gcloud beta dataproc clusters create cluster-name \
    ‑‑max-idle=duration \
    ‑‑expiration-time=time \
    ... other args ...

Puedes actualizar un clúster que se creó con la característica de eliminación programada a fin de cambiar o quitar la configuración de eliminación programada. Para ello, pasa las siguientes marcas de eliminación programada al comando gcloud beta dataproc clusters update (otras marcas de actualización de clústeres no se pueden combinar con las marcas de eliminación programada).

MarcaDescripciónMayor nivel de detalleValor mín.Valor máx.
--max-idle1El tiempo que transcurre desde que el clúster entra en estado inactivo hasta que comienza a borrar. Muestra la duración en formato de IntegerUnit, en el que la unidad puede ser “s, m, h, d” (segundos, minutos, horas, días, respectivamente). Ejemplos: “30m” o “1d” (30 minutos o 1 día desde que el clúster entra en estado inactivo).1 segundo10 minutos14 días
--no-max-idleCancela la eliminación automática de clústeres debido a la duración del período de inactividad del clúster que estableció antes la marca max-idleno aplicableno aplicableno aplicable
--expiration-time2El momento en que se comienza a borrar el clúster en el formato de fecha y hora ISO 8601. Una forma fácil de generar la fecha y hora en el formato correcto es a través de Timestamp Generator. Por ejemplo, “2017-08-22T13:31:48-08:00” indica la hora de vencimiento 13:21:48 en la zona horaria UTC-8:00.1 segundo10 minutos desde la hora actual. La hora nueva no debe ser anterior a la hora ya establecida.14 días desde la hora actual
--max-age2El tiempo que transcurre desde que se envía la solicitud de actualización del clúster hasta que este comienza a borrar. Muestra la duración en formato de IntegerUnit, en el que la unidad puede ser “s, m, h, d” (segundos, minutos, horas, días, respectivamente). Ejemplos: “30m” (30 minutos desde ahora) o “1d” (1 día desde ahora).1 segundo10 minutos. La hora de eliminación programada actualizada (hora de actualización + nueva duración de max-age) no debe ser anterior a la hora de eliminación del clúster ya establecida.14 días
--no-max-ageCancela la eliminación automática de clústeres debido a la antigüedad máxima del clúster ya establecida por la marca max-idle o expiration-timeno aplicableno aplicableno aplicable
gcloud beta dataproc clusters update cluster-name \
    ‑‑max-idle=duration \
    --no-max-age

API de REST

Crea un clúster con eliminación programada

Visualiza GceClusterConfig.ClusterLifecycleConfig.

Puedes configurar los siguientes campos en ClusterLifecycleConfig en tu solicitud de cluster.create o cluster.patch.

Marca Descripción Mayor nivel de detalle Valor mín. Valor máx.
idleDeleteTtl1 El tiempo que transcurre desde que el clúster entra en estado inactivo hasta que comienza a borrar. Muestra la duración en segundos con hasta nueve dígitos fraccionarios, terminados en “s”. Ejemplo: “3.5s”. 1 segundo 10 minutos desde la creación o actualización del clúster. Cuando actualizas un clúster, el valor nuevo debe ser mayor que el valor ya establecido. Envía una solicitud cluster.patch con una duración vacía para cancelar un valor idleDeleteTtl ya establecido. 14 días
autoDeleteTime2 El momento de comenzar a borrar el clúster. Muestra una marca de tiempo en el formato RFC 3339 UTC “Zulu”, con precisión de nanosegundos. Ejemplo: “2014-10-02T15:01:23.045123456Z”. 1 segundo 10 minutos desde la hora actual. Cuando actualizas un clúster, la hora nueva debe ser posterior a la hora ya establecida. 14 días desde la hora actual
autoDeleteTtl2 El tiempo que transcurre desde que se envía la solicitud de creación o actualización de clústeres hasta que este comienza a borrar. Muestra la duración en segundos con hasta nueve dígitos fraccionarios, terminados en “s”. Ejemplo: “3.5s”. 1 segundo 10 minutos. Cuando actualizas un clúster, la nueva hora de eliminación programada (hora de actualización + nueva duración de max-age) debe ser posterior a la hora de eliminación del clúster ya establecida. Envía una solicitud cluster.patch con una duración vacía para cancelar un valor autoDeleteTtl ya establecido. 14 días

Console

Por el momento, no se admite la eliminación programada de clústeres en Google Cloud Platform Console.

Visualiza la configuración de clústeres de la eliminación programada

Comando de gcloud

Puedes usar el comando gcloud beta clusters list para confirmar que un clúster tiene habilitada la eliminación programada.

 gcloud beta dataproc clusters list
...
NAME         WORKER_COUNT ... SCHEDULED_DELETE
cluster-id   number       ... enabled
...

Puedes usar el comando gcloud beta clusters describe para verificar la configuración de eliminación programada de LifecycleConfig de un clúster.

gcloud beta dataproc clusters describe cluster-name
...
lifecycleConfig:
  autoDeleteTime: '2018-11-28T19:33:48.146Z'
  idleDeleteTtl: 1800s
  idleStartTime: '2018-11-28T18:33:48.146Z'
...

autoDeleteTime y idleDeleteTtl son los valores de configuración de la eliminación programada ya establecidos por el usuario en el clúster. Cloud Dataproc genera el valor idleStartTime, que es la última hora de inicio de la etapa de inactividad del clúster. Cloud Dataproc borra el clúster si permanece inactivo en idleStartTime + idleDeleteTtl.

API de REST

Puedes realizar una solicitud clusters.list para confirmar que un clúster tiene habilitada la eliminación programada.

Console

Por el momento, no se admite la eliminación programada de clústeres en Google Cloud Platform Console.

¿Te sirvió esta página? Envíanos tu opinión:

Enviar comentarios sobre…

Documentación de Cloud Dataproc
¿Necesitas ayuda? Visita nuestra página de asistencia.