Membuat cluster Dataproc menggunakan konsol Google Cloud

Halaman ini menunjukkan cara menggunakan konsol Google Cloud untuk membuat cluster Dataproc, menjalankan tugas Apache Spark dasar di cluster, lalu mengubah jumlah pekerja dalam cluster.

Jika ingin mengikuti panduan langkah demi langkah untuk tugas ini langsung di Konsol Google Cloud, klik Pandu saya:

Pandu saya

Sebelum memulai

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Enable the Dataproc API.

    Enable the API

    5.

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Make sure that billing is enabled for your Google Cloud project.

  7. Enable the Dataproc API.

    Enable the API

    8.

Membuat cluster

  1. Di konsol Google Cloud, buka halaman Cluster Dataproc.

    Buka Cluster

  2. Klik Buat kluster.

  3. Dalam dialog Create Dataproc cluster, klik Create di baris Cluster on Compute engine.

  4. Di kolom Cluster Name, masukkan example-cluster.

  5. Dalam daftar Region dan Zone, pilih region dan zona.

    Pilih region (misalnya, us-east1 atau europe-west1) untuk mengisolasi resource, seperti instance virtual machine (VM) dan Cloud Storage serta lokasi penyimpanan metadata yang digunakan oleh Dataproc, di region tersebut. Untuk informasi selengkapnya, lihat Region dan zona yang tersedia serta Endpoint regional.

  6. Untuk semua opsi lainnya, gunakan setelan default.

  7. Untuk membuat cluster, klik Create.

    Cluster baru Anda akan muncul dalam daftar di halaman Clusters. Statusnya adalah Provisioning hingga cluster siap digunakan, lalu statusnya berubah menjadi Running. Penyediaan cluster mungkin memerlukan waktu beberapa menit.

Mengirim tugas Spark

Kirim tugas Spark yang memperkirakan nilai Pi:

  1. Di menu navigasi Dataproc, klik Jobs.

  2. Di halaman Jobs, klik Submit job, lalu lakukan hal berikut:

    1. Di kolom Cluster, klik Browse.
    2. Di baris untuk example-cluster, klik Select.
    3. Di kolom ID Tugas, gunakan setelan default, atau berikan ID yang unik untuk project Google Cloud Anda.
    4. Untuk Job type, pilih Spark.
    5. Di kolom Main class or jar, masukkan org.apache.spark.examples.SparkPi.
    6. Di kolom File jar, masukkan file:///usr/lib/spark/examples/jars/spark-examples.jar.

    7. Di kolom Arguments, masukkan 1000 untuk menetapkan jumlah tugas.

    8. Klik Kirim.

      Tugas Anda akan ditampilkan di halaman Detail tugas. Status tugas adalah Running atau Starting, lalu berubah menjadi Succeeded setelah dikirim.

      Untuk menghindari scroll dalam output, klik Line wrap: off. Outputnya mirip dengan yang berikut ini:

      Pi is roughly 3.1416759514167594

      Untuk melihat detail tugas, klik tab Konfigurasi.

Mengupdate cluster

Perbarui cluster dengan mengubah jumlah instance pekerja:

  1. Di menu navigasi, klik Clusters.
  2. Di daftar cluster, klik example-cluster.

  3. Di halaman Cluster details, klik tab Configuration.

    Setelan cluster Anda akan ditampilkan.

  4. Klik Edit.

  5. Di kolom Worker nodes, masukkan 5.

  6. Klik Simpan.

Cluster Anda berhasil diperbarui. Untuk mengurangi jumlah node pekerja ke nilai awal, ikuti prosedur yang sama.

Pembersihan

Agar tidak menimbulkan biaya pada akun Google Cloud Anda untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut.

  1. Di halaman Cluster details untuk example-cluster, klik Delete untuk menghapus cluster.
  2. Untuk mengonfirmasi bahwa Anda ingin menghapus cluster, klik Hapus.

Langkah selanjutnya