Recrie e atualize um cluster do Dataproc

O Dataproc impede a criação de clusters com versões de imagens anteriores a 1.3.95, 1.4.77, 1.5.53 e 2.0.27, que foram afetadas por vulnerabilidades de segurança do Apache Log4j. O Dataproc também impede a criação de clusters para as versões de imagens do Dataproc 0.x, 1.0.x, 1.1.x e 1.2.x. O Dataproc recomenda que, sempre que possível, crie clusters do Dataproc com as versões secundárias mais recentes das imagens.

Versão da imagem	versão do log4j	Orientação do cliente
2.0.29, 1.5.55 e 1.4.79 ou versões posteriores de cada uma	log4j.2.17.1	Aconselhado
2.0.28, 1.5.54 e 1.4.78	log4j.2.17.0	Aconselhado
2.0.27, 1.5.53 e 1.4.77	log4j.2.16.0	Vivamente recomendado
2.0.26, 1.5.52 e 1.4.76, ou versões anteriores de cada uma	Versão antiga	Descontinuar utilização

Consulte as notas de lançamento do Dataproc para ver informações específicas sobre a imagem e a atualização do log4j.

Recrie e atualize um cluster

Pode usar a ferramenta de linha de comandos gcloud ou a API Dataproc para copiar a configuração de um cluster existente, atualizar a configuração copiada e, em seguida, criar um novo cluster com a configuração atualizada.

CLI gcloud

As instruções de exemplo mostram a atualização da definição de versão da imagem numa configuração de cluster. Pode alterar o exemplo para atualizar diferentes definições de configuração do cluster.

A prática recomendada é especificar a versão da imagem major.minor para ambientes de produção ou quando a compatibilidade com versões de componentes específicas é importante. As distribuições do SO e subminor são definidas automaticamente para a versão semanal mais recente.

1. Defina variáveis.

   export PROJECT=project-id
   export REGION=region
   export OLD_CLUSTER=old-cluster-name
   export NEW_CLUSTER=new-cluster-name
   export NEW_IMAGE_VERSION=image-version (for example, '2.2-debian12')
   

2. Exporte a configuração do cluster existente (antigo) para um ficheiro YAML.

   gcloud dataproc clusters export $OLD_CLUSTER \
       --project=$PROJECT \
       --region=$REGION > "${OLD_CLUSTER}-config.yaml"

3. Atualize a configuração. O exemplo seguinte usa o sed para atualizar a versão da imagem.

   sed -E "s|(^[[:blank:]]+)imageVersion: .+|\1imageVersion: ${NEW_IMAGE_VERSION}|g" "${OLD_CLUSTER}-config.yaml" | sed -E '/^[[:blank:]]+imageUri: /d' > "${NEW_CLUSTER}-config-updated.yaml"

4. Crie um novo cluster com um novo nome e a configuração atualizada.

   gcloud dataproc clusters import $NEW_CLUSTER \
       --project=$PROJECT \
       --region=$REGION \
       --source="${NEW_CLUSTER}-config-updated.yaml"

5. Depois de confirmar que as cargas de trabalho são executadas no novo cluster sem problemas, elimine o cluster existente (antigo). IMPORTANTE: este passo elimina todos os dados armazenados no HDFS e no disco local no seu cluster.

   gcloud dataproc clusters delete $OLD_CLUSTER \
       --project=$PROJECT \
       --region=$REGION

API REST

As instruções de exemplo mostram a atualização do nome do cluster e das definições da versão da imagem numa configuração do cluster. Pode alterar as variáveis de exemplo para atualizar diferentes definições de configuração do cluster.

A prática recomendada é especificar a versão da imagem major.minor para ambientes de produção ou quando a compatibilidade com versões de componentes específicas é importante. As distribuições do SO e subminor são definidas automaticamente para a versão semanal mais recente.

1. Defina variáveis.

   export PROJECT=project-id
   export REGION=region
   export OLD_CLUSTER=old-cluster-name
   export NEW_CLUSTER=new-cluster-name
   export NEW_IMAGE_VERSION=image-version (for example, '2.2-debian12')
   
   

2. Exporte a configuração do cluster existente (antiga) para um ficheiro JSON.

   curl -X GET -H "Authorization: Bearer $(gcloud auth print-access-token)"  "https://dataproc.googleapis.com/v1/projects/${PROJECT}/regions/${REGION}/clusters/${OLD_CLUSTER}?alt=json" > "${OLD_CLUSTER}-config.json"

3. Atualize a configuração. O exemplo seguinte usa jq para atualizar o nome do cluster e a versão da imagem.

   jq ".clusterName = \"${NEW_CLUSTER}\" | .config.softwareConfig.imageVersion=\"${NEW_IMAGE_VERSION}\" | del(.config.workerConfig.imageUri) | del(.config.masterConfig.imageUri)" "${OLD_CLUSTER}-config.json" > "${NEW_CLUSTER}-config-updated.json"

4. Importe a configuração do cluster atualizada para criar um novo cluster com a configuração atualizada.

   curl -i -X POST  -H "Authorization: Bearer $(gcloud auth print-access-token)"  -H "Content-Type: application/json; charset=utf-8" -d "@${NEW_CLUSTER}-config-updated.json" "https://dataproc.googleapis.com/v1/projects/${PROJECT}/regions/${REGION}/clusters?alt=json"

5. Depois de confirmar que as cargas de trabalho são executadas no novo cluster sem problemas, elimine o cluster existente (antigo). IMPORTANTE: este passo elimina todos os dados armazenados no HDFS e no disco local no seu cluster.

   curl -X DELETE -H "Authorization: Bearer $(gcloud auth print-access-token)" "https://dataproc.googleapis.com/v1/projects/${PROJECT}/regions/${REGION}/clusters/${OLD_CLUSTER}"
   

Consola

A consola não suporta a recriação de um cluster através da importação de uma configuração de cluster.