Mengirim tugas Spark menggunakan template

Halaman ini menunjukkan cara menggunakan template Google APIs Explorer untuk menjalankan tugas Spark sederhana di cluster Dataproc yang ada.

Untuk cara lain mengirim tugas ke cluster Dataproc, lihat:

Sebelum memulai

Sebelum dapat menjalankan tugas Dataproc, Anda harus membuat cluster satu atau beberapa virtual machine (VM) untuk menjalankannya. Anda dapat menggunakan APIs Explorer, Konsol Google Cloud, alat command line gcloud gcloud CLI, atau Panduan memulai menggunakan Cloud Client Libraries untuk membuat cluster.

Mengirim tugas

Untuk mengirimkan contoh tugas Apache Spark yang menghitung nilai kasar untuk pi, isi dan jalankan template Coba API ini Google APIs Explorer.

  1. Parameter permintaan:

    1. Masukkan projectId Anda.
    2. Tentukan region tempat cluster Anda berada (konfirmasi atau ganti "us-central1"). Region cluster Anda tercantum di halaman Clusters Dataproc di konsol Google Cloud.

  2. Isi permintaan:

    1. job.placement.clusterName: Nama cluster tempat tugas akan dijalankan (konfirmasi atau ganti "example-cluster").
    2. job.sparkJob.args: "1000", jumlah tugas tugas.
    3. job.sparkJob.jarFileUris: "file:///usr/lib/spark/examples/jars/spark-examples.jar". Ini adalah jalur file lokal di node master cluster Dataproc tempat jar yang berisi kode tugas Spark Scala diinstal.
    4. job.sparkJob.mainClass: "org.apache.spark.examples.SparkPi". Ini adalah metode utama aplikasi Scala penghitungan pi tugas.

  3. Klik EXECUTE. Saat pertama kali menjalankan template API, Anda mungkin diminta untuk memilih dan login ke Akun Google Anda, lalu memberi otorisasi Google APIs Explorer untuk mengakses akun Anda. Jika permintaan berhasil, respons JSON akan menunjukkan bahwa permintaan pengiriman tugas tertunda.

  4. Untuk melihat output tugas, buka halaman Dataproc Jobs di konsol Google Cloud, lalu klik ID Tugas teratas (terbaru). Klik "LINE WRAP" ke AKTIF untuk menampilkan baris yang melebihi margin kanan.

    ...
Pi is roughly 3.141804711418047
...

Pembersihan

Agar tidak menimbulkan biaya pada akun Google Cloud Anda untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut.

  1. Jika Anda tidak memerlukan cluster untuk menjelajahi quickstart lainnya atau menjalankan tugas lain, gunakan APIs Explorer, konsol Google Cloud, alat command line gcloud gcloud CLI, atau Cloud Client Libraries untuk menghapus cluster.

Langkah selanjutnya