Vuelve a crear y actualizar un clúster

Dataproc evita la creación de clústeres con versiones de imágenes anteriores a 1.3.95, 1.4.77, 1.5.53 y 2.0.27, que se vieron afectadas por las vulnerabilidades de seguridad de Apache Log4j. Dataproc también evita la creación de clústeres para las versiones de imagen 0.x, 1.0.x, 1.1.x y 1.2.x. Dataproc aconseja que, cuando sea posible, crees clústeres de Dataproc con las versiones de imágenes subsecundarias más recientes.

Versión de la imagen	Versión de log4j	Orientación del cliente
2.0.29, 1.5.55 y 1.4.79, o una posterior	log4j.2.17.1	Asesor
2.0.28, 1.5.54 y 1.4.78	log4j.2.17.0	Asesor
2.0.27, 1.5.53 y 1.4.77	log4j.2.16.0	Muy recomendado
2.0.26, 1.5.52 y 1.4.76, o versiones anteriores	Versión ant.	Dejar de usar el producto

Consulta las notas de la versión de Dataproc para obtener información específica sobre imágenes y actualizaciones de log4j.

Pasos para volver a crear y actualizar un clúster

Puedes usar la herramienta de línea de comandos de gcloud o la API de Dataproc para copiar la configuración de un clúster existente, actualizar la configuración copiada y, luego, crear un clúster nuevo con la configuración actualizada.

gcloud CLI

En las instrucciones de ejemplo, se muestra cómo actualizar los ajustes de la versión de la imagen en la configuración de un clúster. Puedes cambiar el ejemplo para actualizar diferentes parámetros de configuración del clúster.

Se recomienda especificar la versión de imagen major.minor para entornos de producción o cuando la compatibilidad con versiones de componentes específicos sea importante. Las distribuciones del SO y subsecundarias se configuran automáticamente a la última versión semanal.

1. Configura variables.

   export PROJECT=project-id
   export REGION=region
   export OLD_CLUSTER=old-cluster-name
   export NEW_CLUSTER=new-cluster-name
   export NEW_IMAGE_VERSION=image-version (for example, '2.2-debian12')
   

2. Exporta la configuración del clúster existente (anterior) a un archivo YAML.

   gcloud dataproc clusters export $OLD_CLUSTER \
       --project=$PROJECT \
       --region=$REGION > "${OLD_CLUSTER}-config.yaml"

3. Actualiza la configuración. En el siguiente ejemplo, se usa sed para actualizar la versión de la imagen.

   sed -E "s|(^[[:blank:]]+)imageVersion: .+|\1imageVersion: ${NEW_IMAGE_VERSION}|g" "${OLD_CLUSTER}-config.yaml" | sed -E '/^[[:blank:]]+imageUri: /d' > "${NEW_CLUSTER}-config-updated.yaml"

4. Crea un clúster nuevo con un nombre nuevo y la configuración actualizada.

   gcloud dataproc clusters import $NEW_CLUSTER \
       --project=$PROJECT \
       --region=$REGION \
       --source="${NEW_CLUSTER}-config-updated.yaml"

5. Después de confirmar que tus cargas de trabajo se ejecutan en el clúster nuevo sin problemas, borra el clúster existente (anterior). IMPORTANTE: En este paso, se borran todos los datos almacenados en HDFS y en el disco local de tu clúster.

   gcloud dataproc clusters delete $OLD_CLUSTER \
       --project=$PROJECT \
       --region=$REGION

API de REST

En las instrucciones de ejemplo, se muestra cómo actualizar el nombre del clúster y los ajustes de la versión de imagen en la configuración de un clúster. Puedes cambiar las variables de ejemplo para actualizar diferentes parámetros de configuración del clúster.

Se recomienda especificar la versión de imagen major.minor para entornos de producción o cuando la compatibilidad con versiones de componentes específicos sea importante. Las distribuciones del SO y subsecundarias se configuran automáticamente a la última versión semanal.

1. Configura variables.

   export PROJECT=project-id
   export REGION=region
   export OLD_CLUSTER=old-cluster-name
   export NEW_CLUSTER=new-cluster-name
   export NEW_IMAGE_VERSION=image-version (for example, '2.2-debian12')
   
   

2. Exporta la configuración del clúster existente (anterior) a un archivo JSON.

   curl -X GET -H "Authorization: Bearer $(gcloud auth print-access-token)"  "https://dataproc.googleapis.com/v1/projects/${PROJECT}/regions/${REGION}/clusters/${OLD_CLUSTER}?alt=json" > "${OLD_CLUSTER}-config.json"

3. Actualiza la configuración. En el siguiente ejemplo, se usa jq para actualizar el nombre del clúster y la versión de la imagen.

   jq ".clusterName = \"${NEW_CLUSTER}\" | .config.softwareConfig.imageVersion=\"${NEW_IMAGE_VERSION}\" | del(.config.workerConfig.imageUri) | del(.config.masterConfig.imageUri)" "${OLD_CLUSTER}-config.json" > "${NEW_CLUSTER}-config-updated.json"

4. Importa la configuración actualizada del clúster para crear un clúster nuevo con la configuración actualizada.

   curl -i -X POST  -H "Authorization: Bearer $(gcloud auth print-access-token)"  -H "Content-Type: application/json; charset=utf-8" -d "@${NEW_CLUSTER}-config-updated.json" "https://dataproc.googleapis.com/v1/projects/${PROJECT}/regions/${REGION}/clusters?alt=json"

5. Después de confirmar que tus cargas de trabajo se ejecutan en el clúster nuevo sin problemas, borra el clúster existente (anterior). IMPORTANTE: Este paso borra todos los datos almacenados en HDFS y en el disco local de tu clúster.

   curl -X DELETE -H "Authorization: Bearer $(gcloud auth print-access-token)" "https://dataproc.googleapis.com/v1/projects/${PROJECT}/regions/${REGION}/clusters/${OLD_CLUSTER}"
   

Console

La consola no admite la recreación de un clúster mediante la importación de una configuración de clúster.