Mengirim tugas Spark menggunakan template

Halaman ini menunjukkan cara menggunakan template Google APIs Explorer untuk menjalankan tugas Spark sederhana pada cluster Dataproc yang ada.

Untuk mengetahui cara lain mengirimkan tugas ke cluster Dataproc, lihat:

Sebelum memulai

Sebelum dapat menjalankan tugas Dataproc, Anda harus membuat cluster dari satu atau beberapa virtual machine (VM) untuk menjalankannya. Anda dapat menggunakan APIs Explorer, Google Cloud Console, alat command line gcloud gcloud CLI, atau Panduan Memulai Menggunakan Library Klien Cloud untuk membuat cluster.

Mengirim tugas

Untuk mengirimkan contoh tugas Apache Spark yang menghitung nilai kasar untuk pi, isi dan jalankan template Coba API ini di Google APIs Explorer.

  1. Parameter permintaan:

    1. Masukkan projectId Anda.
    2. Tentukan region tempat cluster Anda berada (konfirmasi atau ganti "us-central1"). Region cluster Anda tercantum di halaman Clusters Dataproc di Google Cloud Console.

  2. Isi permintaan:

    1. job.placement.clusterName: Nama cluster tempat tugas akan dijalankan (konfirmasi atau ganti "example-cluster").
    2. job.sparkJob.args: "1000", jumlah tugas.
    3. job.sparkJob.jarFileUris: "file:///usr/lib/spark/examples/jars/spark-examples.jar". Ini adalah jalur file lokal di node master cluster Dataproc, tempat jar yang berisi kode tugas Spark Scala diinstal.
    4. job.sparkJob.mainClass: "org.apache.spark.examples.SparkPi". Ini adalah metode utama untuk penghitungan pi dari aplikasi Scala tugas.

  3. Klik EXECUTE. Saat pertama kali menjalankan template API, Anda mungkin akan diminta untuk memilih dan login ke akun Google, lalu memberikan otorisasi kepada Google APIs Explorer untuk mengakses akun Anda. Jika permintaan berhasil, respons JSON akan menunjukkan bahwa permintaan pengiriman tugas tertunda.

  4. Untuk melihat output tugas, buka halaman Tugas Dataproc di konsol Google Cloud, lalu klik ID Tugas bagian atas (terbaru). Klik "LINE WRAP" ke AKTIF untuk menampilkan baris yang melebihi margin kanan.

    ...
Pi is roughly 3.141804711418047
...

Pembersihan

Agar akun Google Cloud Anda tidak dikenakan biaya untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut.

  1. Jika Anda tidak memerlukan cluster untuk mempelajari panduan memulai lain atau menjalankan tugas lain, gunakan APIs Explorer, Google Cloud Console, alat command line gcloud gcloud CLI, atau Library Klien Cloud untuk menghapus cluster.

Langkah selanjutnya