Menggunakan pemilih cluster dengan alur kerja

Sebagai alternatif untuk menjalankan alur kerja pada cluster terkelola, Anda dapat menggunakan pemilih cluster untuk memilih cluster yang ada untuk alur kerja Anda. Pada kesimpulan alur kerja, cluster yang dipilih tidak akan dihapus.

Pemilih menentukan satu atau beberapa label pengguna Dataproc. Cluster di region yang sama dengan alur kerja yang labelnya cocok dengan semua label pemilih memenuhi syarat untuk menjalankan tugas alur kerja. Jika beberapa cluster cocok dengan pemilih, Dataproc akan memilih cluster dengan memori YARN paling bebas.

Menambahkan pemilih cluster ke template

Anda dapat menambahkan pemilih cluster ke template alur kerja menggunakan Google Cloud CLI atau Dataproc API.

Perintah gcloud

gcloud dataproc workflow-templates set-cluster-selector template-id \
    --region=region \
    --cluster-labels=name=value[[,name=value]...]

REST API

Lihat WorkflowTemplatePlacement.ClusterSelector. Kolom ini disediakan sebagai bagian dari WorkflowTemplate yang telah selesai dan dikirimkan dengan permintaan workflowTemplates.create atau workflowTemplates.update.

Konsol

Anda dapat melihat template alur kerja yang ada dan membuat instance alur kerja dari halaman Alur kerja Dataproc di Konsol Google Cloud.

Menggunakan Label yang Diterapkan Secara Otomatis

Anda dapat mengarahkan pemilih cluster ke cluster yang ada menggunakan salah satu label cluster yang diterapkan secara otomatis berikut:

  • goog-dataproc-cluster-name
  • goog-dataproc-cluster-uuid

Contoh: 

gcloud dataproc workflow-templates set-cluster-selector template-id \
    --region=region \
    --cluster-labels=goog-dataproc-cluster-name=my-cluster

Memilih dari Kumpulan Cluster

Anda dapat mengizinkan Dataproc memilih cluster dari kumpulan cluster. Kumpulan cluster dapat ditentukan dengan label.

Contoh:

gcloud dataproc clusters create cluster-1 --labels cluster-pool=pool-1 \
    --region=region
gcloud dataproc clusters create cluster-2 --labels cluster-pool=pool-1 \
    --region=region
gcloud dataproc clusters create cluster-3 --labels cluster-pool=pool-2 \
    --region=region

Setelah pembuatan cluster ...

gcloud dataproc workflow-templates create my-template \
    --region=region
gcloud dataproc workflow-templates set-cluster-selector my-template \
    --region=region \
    --cluster-labels=cluster-pool=pool-1

Alur kerja akan dijalankan di cluster-1 atau cluster-2, tetapi tidak pada cluster-3.