Dataproc di node pool GKE

Saat create atau memperbarui Dataproc di cluster virtual GKE, Anda menentukan satu atau beberapa node pool yang akan digunakan cluster virtual untuk menjalankan tugas (cluster ini disebut sebagai cluster yang "digunakan oleh" atau "dikaitkan" dengan node pool yang ditentukan). Jika node pool yang ditentukan tidak ada di cluster GKE, Dataproc di GKE akan membuat node pool di cluster GKE dengan setelan yang Anda tentukan. Jika ada dan dibuat oleh Dataproc, node pool akan divalidasi untuk mengonfirmasi bahwa setelannya cocok dengan setelan yang ditentukan.

Setelan node pool Dataproc di GKE

Anda dapat menentukan setelan berikut di node pool yang digunakan oleh Dataproc di cluster virtual GKE (setelan ini adalah subkumpulan dari setelan node pool GKE):

  • accelerators
  • acceleratorCount
  • acceleratorType
  • gpuPartitionSize*
  • localSsdCount
  • machineType
  • minCpuPlatform
  • minNodeCount
  • maxNodeCount
  • preemptible
  • spot*

Catatan:

Penghapusan kumpulan node

Saat cluster Dataproc di GKE dihapus, node pool yang digunakan oleh cluster tersebut tidak akan dihapus. Lihat Menghapus node pool untuk menghapus node pool yang tidak lagi digunakan oleh Dataproc di cluster GKE.

Lokasi kumpulan node

Anda dapat menentukan lokasi node pool zona yang terkait dengan Dataproc di cluster virtual GKE saat membuat atau memperbarui cluster virtual. Zona node pool harus berada di region cluster virtual terkait.

Pemetaan peran ke node pool

Peran node pool ditentukan untuk tugas driver dan eksekutor Spark, dengan peran default ditentukan untuk semua jenis tugas oleh node pool. Dataproc di cluster GKE harus memiliki setidaknya satu node pool yang diberi peran default. Penetapan peran lainnya bersifat opsional.

Rekomendasi: Buat node pool terpisah untuk setiap jenis peran, dengan jenis dan ukuran node berdasarkan persyaratan peran.

Contoh pembuatan cluster virtual gcloud CLI:

gcloud dataproc clusters gke create "${DP_CLUSTER}" \
  --region=${REGION} \
  --gke-cluster=${GKE_CLUSTER} \
  --spark-engine-version=latest \
  --staging-bucket=${BUCKET} \
  --pools="name=${DP_POOLNAME},roles=default \
  --setup-workload-identity
  --pools="name=${DP_CTRL_POOLNAME},roles=default,machineType=e2-standard-4" \
  --pools="name=${DP_DRIVER_POOLNAME},min=1,max=3,roles=spark-driver,machineType=n2-standard-4" \
  --pools="name=${DP_EXEC_POOLNAME},min=1,max=10,roles=spark-executor,machineType=n2-standard-8"