Esta página foi traduzida pela API Cloud Translation.

Recriar e atualizar um Dataproc no cluster virtual do GKE

É possível copiar a configuração de um cluster virtual do Dataproc no GKE, atualizar a configuração copiada e criar um novo cluster do Dataproc no GKE usando a configuração atualizada.

Etapas para recriar e atualizar um cluster do Dataproc no GKE

gcloud

1. Defina as variáveis de ambiente:

CLUSTER=existing Dataproc on GKE  cluster name \
  REGION=region

Exporte a configuração do cluster do Dataproc no GKE para um arquivo YAML.

gcloud dataproc clusters export $CLUSTER \
    --region=$REGION > "${CLUSTER}-config.yaml"

Atualizar a configuração.
1. Remova o campo kubernetesNamespace. A remoção desse campo é necessária para evitar um conflito de namespace ao criar o cluster atualizado.
  
  Exemplo de comando sed para remover o campo kubernetesNamespace:
```
sed -E "s/kubernetesNamespace: .+$//g" ${CLUSTER}-config.yaml
```
2. Faça outras mudanças para atualizar o Dataproc nas configurações do cluster virtual do GKE, como alterar a componentVersion do Spark.
Exclua o Dataproc no cluster virtual do GKE se você for criar um cluster com o mesmo nome do cluster que está sendo atualizado (se você estiver substituindo o cluster original).
Aguarde a conclusão da operação de exclusão anterior e importe a configuração atualizada do cluster para criar um novo cluster virtual do Dataproc no GKE com as configurações atualizadas.
```
gcloud dataproc clusters import $CLUSTER \
    --region=$REGION \
    --source="${CLUSTER}-config.yaml"
```

API

1. Defina as variáveis de ambiente:

CLUSTER=existing Dataproc on GKE  cluster name \
  REGION=region

Exporte a configuração do cluster do Dataproc no GKE para um arquivo YAML.

curl -X GET -H "Authorization: Bearer $(gcloud auth print-access-token)"  "https://dataproc.googleapis.com/v1/projects/${PROJECT}/regions/${REGION}/clusters/${CLUSTER}?alt=json" > "${CLUSTER}-config.json"

Remova o campo kubernetesNamespace. A remoção desse campo é necessária para evitar um conflito de namespace ao criar o cluster atualizado.

Exemplo de comando jq para remover o campo kubernetesNamespace:
```
jq 'del(.virtualClusterConfig.kubernetesClusterConfig.kubernetesNamespace)'
  
```
1. Faça outras mudanças para atualizar o Dataproc nas configurações do cluster virtual do GKE, como alterar a componentVersion do Spark.
Exclua o Dataproc no cluster virtual do GKE se você for criar um cluster com o mesmo nome do cluster que está sendo atualizado (se você estiver substituindo o cluster original).
```
curl -X DELETE -H "Authorization: Bearer $(gcloud auth print-access-token)" "https://dataproc.googleapis.com/v1/projects/${PROJECT}/regions/${REGION}/clusters/${CLUSTER}"
```

Aguarde a conclusão da operação de exclusão anterior e importe a configuração atualizada do cluster para criar um novo cluster virtual do Dataproc no GKE com as configurações atualizadas.

curl -i -X POST  -H "Authorization: Bearer $(gcloud auth print-access-token)"  -H "Content-Type: application/json; charset=utf-8" -d "@${CLUSTER}-config.json" "https://dataproc.googleapis.com/v1/projects/${PROJECT}/regions/${REGION}/clusters?alt=json"

Console

O console do Google Cloud não oferece suporte à recriação de um cluster virtual do Dataproc no GKE importando a configuração de um cluster existente.