Actualizar un clúster de Dataproc mediante una plantilla
En esta página se muestra cómo usar una plantilla de Explorador de APIs de Google para actualizar un clúster de Dataproc y cambiar el número de trabajadores que contiene. Ampliar un clúster para incluir más trabajadores es una tarea habitual cuando se necesitan trabajadores adicionales para procesar tareas más grandes.
Para ver otras formas de actualizar un clúster de Dataproc, consulta los siguientes artículos:
Antes de empezar
En esta guía de inicio rápido se da por hecho que ya has creado un clúster de Dataproc. Puedes usar el Explorador de APIs, la consolaGoogle Cloud , la CLI de gcloud, la herramienta de línea de comandos gcloud o las guías de inicio rápido con bibliotecas de cliente de Cloud para crear un clúster.Actualizar un clúster
Para actualizar el número de trabajadores de tu clúster, rellena y ejecuta la plantilla Probar esta API del Explorador de APIs de Google.
Parámetros de la solicitud:
- Inserta tu projectId.
- Especifica la región en la que se encuentra tu clúster (confirma o sustituye "us-central1"). La región de tu clúster se indica en la página Clústeres de Dataproc en la consola de Google Cloud .
- Especifica el clusterName del clúster que quieres actualizar (confirma o sustituye "example-cluster").
- updateMask:
"config.worker_config.num_instances". Es la ruta JSON relativa al recurso Cluster del parámetro
numInstances
que se va a actualizar (consulta las instrucciones del cuerpo de la solicitud).
Cuerpo de la solicitud:
- config.workerConfig.numInstances: ("3": el nuevo número de trabajadores). Puedes cambiar este valor para añadir más o menos trabajadores. Por ejemplo, si tu clúster estándar tiene el número predeterminado de 2 trabajadores, al especificar "3" se añadirá 1 trabajador y, al especificar "4", se añadirán 2. Un clúster de Dataproc estándar debe tener al menos 2 trabajadores.
Haz clic en EXECUTE. La primera vez que ejecutes la plantilla de la API, es posible que se te pida que elijas una cuenta de Google e inicies sesión en ella. Después, autoriza a Explorador de APIs de Google para que acceda a tu cuenta. Si la solicitud se realiza correctamente, la respuesta JSON muestra que la actualización del clúster está pendiente.
Para confirmar que se ha actualizado el número de trabajadores del clúster, abre la página Clústeres de Dataproc en la Google Cloud consola y consulta la columna Nodos de trabajador totales del clúster. Es posible que tengas que hacer clic en ACTUALIZAR en la parte superior de la página para ver el valor actualizado una vez que se haya completado la actualización del clúster.
Limpieza
Para evitar que se apliquen cargos en tu cuenta de Google Cloud por los recursos utilizados en esta página, sigue estos pasos.
- Si no necesitas el clúster para consultar otras guías de inicio rápido o ejecutar otros trabajos, usa el Explorador de APIs, la Google Cloud consola, la herramienta de línea de comandos gcloud de la CLI de gcloud o las guías de inicio rápido con bibliotecas de cliente de Cloud para eliminar el clúster.
Siguientes pasos
Puedes usar esta plantilla de inicio rápido para restaurar el clúster a su valor
workerConfig.numInstances
anterior.Consulta cómo escribir y ejecutar una tarea de Scala en Spark.