Membuat ulang dan mengupdate Dataproc di cluster virtual GKE

Anda dapat menyalin konfigurasi cluster virtual Dataproc di GKE yang ada, mengupdate konfigurasi yang disalin, lalu membuat cluster Dataproc baru di GKE menggunakan konfigurasi yang telah diperbarui.

Langkah-langkah untuk membuat ulang dan mengupdate cluster Dataproc di GKE

gcloud

1. Menetapkan variabel lingkungan:

CLUSTER=existing Dataproc on GKE  cluster name \
  REGION=region

  1. Ekspor konfigurasi cluster Dataproc di GKE yang ada ke file YAML. 

    gcloud dataproc clusters export $CLUSTER \
    --region=$REGION > "${CLUSTER}-config.yaml"

  2. Perbarui konfigurasi.

    1. Hapus kolom kubernetesNamespace. Menghapus kolom ini diperlukan untuk menghindari konflik namespace saat Anda membuat cluster yang diperbarui.

      Contoh perintah sed untuk menghapus kolom kubernetesNamespace: 

      sed -E "s/kubernetesNamespace: .+$//g" ${CLUSTER}-config.yaml

    2. Lakukan perubahan tambahan untuk mengupdate setelan konfigurasi cluster virtual GKE Dataproc, seperti mengubah componentVersion Spark.

  3. Hapus Dataproc yang ada di cluster virtual GKE jika Anda akan membuat cluster yang memiliki nama yang sama dengan cluster yang diupdate (jika Anda mengganti cluster asli).

  4. Tunggu hingga operasi penghapusan sebelumnya selesai, lalu impor konfigurasi cluster yang diperbarui untuk membuat cluster virtual Dataproc baru di GKE dengan setelan konfigurasi yang diperbarui. 

    gcloud dataproc clusters import $CLUSTER \
    --region=$REGION \
    --source="${CLUSTER}-config.yaml"

API

1. Menetapkan variabel lingkungan:

CLUSTER=existing Dataproc on GKE  cluster name \
  REGION=region

  1. Ekspor konfigurasi cluster Dataproc di GKE yang ada ke file YAML. 

    curl -X GET -H "Authorization: Bearer $(gcloud auth print-access-token)"  "https://dataproc.googleapis.com/v1/projects/${PROJECT}/regions/${REGION}/clusters/${CLUSTER}?alt=json" > "${CLUSTER}-config.json"

  2. Hapus kolom kubernetesNamespace. Penghapusan kolom ini diperlukan untuk menghindari konflik namespace saat Anda membuat cluster yang diperbarui.

    Contoh perintah jq untuk menghapus kolom kubernetesNamespace: 

    jq 'del(.virtualClusterConfig.kubernetesClusterConfig.kubernetesNamespace)'

    1. Lakukan perubahan tambahan untuk mengupdate setelan konfigurasi cluster virtual GKE Dataproc, seperti mengubah componentVersion Spark.

  3. Hapus Dataproc yang ada di cluster virtual GKE jika Anda akan membuat cluster yang memiliki nama yang sama dengan cluster yang diperbarui (jika Anda mengganti cluster asli). 

    curl -X DELETE -H "Authorization: Bearer $(gcloud auth print-access-token)" "https://dataproc.googleapis.com/v1/projects/${PROJECT}/regions/${REGION}/clusters/${CLUSTER}"

  4. Tunggu hingga operasi penghapusan sebelumnya selesai, lalu impor konfigurasi cluster yang diperbarui untuk membuat cluster virtual Dataproc di GKE baru dengan setelan yang diperbarui. 

    curl -i -X POST  -H "Authorization: Bearer $(gcloud auth print-access-token)"  -H "Content-Type: application/json; charset=utf-8" -d "@${CLUSTER}-config.json" "https://dataproc.googleapis.com/v1/projects/${PROJECT}/regions/${REGION}/clusters?alt=json"

Konsol

Konsol Google Cloud tidak mendukung pembuatan ulang cluster virtual Dataproc di GKE dengan mengimpor konfigurasi cluster yang ada.