Mengupdate cluster Dataproc menggunakan template
Halaman ini menunjukkan cara menggunakan template Google APIs Explorer untuk memperbarui cluster Dataproc guna mengubah jumlah pekerja dalam cluster. Menskalakan cluster untuk menyertakan lebih banyak pekerja adalah tugas umum saat pekerja tambahan diperlukan untuk memproses tugas yang lebih besar.
Untuk mengetahui cara lain dalam mengupdate cluster Dataproc, lihat:
Sebelum memulai
Panduan memulai ini mengasumsikan bahwa Anda telah membuat cluster Dataproc. Anda dapat menggunakan APIs Explorer, Konsol Google Cloud, alat command line gcloud gcloud CLI, atau Panduan memulai menggunakan Cloud Client Libraries untuk membuat cluster.Mengupdate cluster
Untuk memperbarui jumlah pekerja di cluster, isi dan jalankan template Coba API ini Google APIs Explorer.
Parameter permintaan:
- Masukkan projectId Anda.
- Tentukan region tempat cluster Anda berada (konfirmasi atau ganti "us-central1"). Region cluster Anda tercantum di halaman Clusters Dataproc di konsol Google Cloud.
- Tentukan clusterName cluster yang ada yang Anda perbarui (konfirmasi atau ganti "example-cluster").
- updateMask:
"config.worker_config.num_instances". Ini adalah JSON PATH
yang relatif terhadap resource Cluster
ke parameter
numInstances
yang akan diperbarui (lihat petunjuk Isi permintaan).
Isi permintaan:
- config.workerConfig.numInstances: ("3": jumlah pekerja baru). Anda dapat mengubah nilai ini untuk menambahkan lebih sedikit pekerja atau lebih banyak pekerja. Misalnya, jika cluster standar Anda memiliki jumlah pekerja default 2, menentukan "3" akan menambahkan 1 pekerja; menentukan "4 akan menambahkan 2). Cluster Dataproc standar harus memiliki minimal 2 pekerja.
Klik EXECUTE. Saat pertama kali menjalankan template API, Anda mungkin diminta untuk memilih dan login ke Akun Google Anda, lalu memberi otorisasi Google APIs Explorer untuk mengakses akun Anda. Jika permintaan berhasil, respons JSON akan menunjukkan bahwa update cluster tertunda.
Untuk mengonfirmasi bahwa jumlah pekerja di cluster telah diperbarui, buka halaman Cluster Dataproc di konsol Google Cloud dan lihat kolom Total node pekerja cluster. Anda mungkin perlu mengklik MUAT ULANG di bagian atas halaman untuk melihat nilai yang diperbarui setelah update cluster selesai.
Pembersihan
Agar tidak menimbulkan biaya pada akun Google Cloud Anda untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut.
- Jika Anda tidak memerlukan cluster untuk menjelajahi quickstart lainnya atau menjalankan tugas lain, gunakan APIs Explorer, konsol Google Cloud, alat command line gcloud gcloud CLI, atau Quickstart menggunakan Cloud Client Libraries untuk menghapus cluster.
Langkah selanjutnya
Anda dapat menggunakan template memulai cepat ini untuk memulihkan cluster ke nilai
workerConfig.numInstances
sebelumnya.Pelajari cara menulis dan menjalankan tugas Spark Scala.