Menjalankan workload batch Apache Spark

Pelajari cara menggunakan Dataproc Serverless untuk mengirimkan workload batch di infrastruktur komputasi terkelola Dataproc yang menskalakan resource sesuai kebutuhan.

Sebelum memulai

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

   Buka pemilih project

3. Make sure that billing is enabled for your Google Cloud project.

4. Aktifkan API Dataproc.

   Mengaktifkan API

5. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

   Buka pemilih project

6. Make sure that billing is enabled for your Google Cloud project.

7. Aktifkan API Dataproc.

   Mengaktifkan API

Mengirimkan workload batch Spark

Anda dapat menggunakan konsol Google Cloud, Google Cloud CLI, atau Dataproc Serverless API untuk membuat dan mengirimkan beban kerja batch Dataproc Serverless untuk Spark.

Catatan: Anda dapat menggunakan halaman Create batch from template di konsol untuk menjalankan pengiriman batch berdasarkan template tersimpan. Untuk mengetahui informasi selengkapnya, lihat Template Dataproc Serverless .

Konsol

1. Di konsol Google Cloud, buka Dataproc Batches.

2. Klik Create.

3. Kirimkan workload batch Spark yang menghitung perkiraan nilai pi dengan memilih dan mengisi kolom berikut:

   • Info Batch:
     • ID Batch: Tentukan ID untuk workload batch Anda. Nilai ini harus berupa 4-63 karakter huruf kecil. Karakter yang valid adalah /[a-z][0-9]-/.
     • Region: Pilih region tempat beban kerja Anda akan berjalan.
   • Penampung:
     • Jenis batch: Spark.
     • Versi runtime: Versi runtime default dipilih. Secara opsional, Anda dapat menentukan versi runtime Dataproc Serverless non-default.
     • Class utama:

       org.apache.spark.examples.SparkPi

     • File jar (file ini telah diprainstal di lingkungan eksekusi Dataproc Serverless Spark).

       file:///usr/lib/spark/examples/jars/spark-examples.jar

     • Argumen: 1000.
   • Konfigurasi Eksekusi: Anda dapat menentukan akun layanan yang akan digunakan untuk menjalankan beban kerja. Jika Anda tidak menentukan akun layanan, beban kerja akan berjalan di bawah akun layanan default Compute Engine. Akun layanan Anda harus memiliki peran Dataproc Worker.
   • Konfigurasi jaringan: Sub-jaringan VPC yang menjalankan workload Dataproc Serverless untuk Spark harus diaktifkan untuk Akses Google Pribadi dan memenuhi persyaratan lain yang tercantum dalam Konfigurasi jaringan Dataproc Serverless untuk Spark. Daftar subnetwork menampilkan subnet di jaringan yang dipilih yang diaktifkan untuk Akses Google Pribadi.
   • Properties: Masukkan Key (nama properti) dan Value dari properti Spark yang didukung untuk ditetapkan pada beban kerja batch Spark Anda. Catatan: Tidak seperti properti cluster Dataproc di Compute Engine, properti workload Dataproc Serverless untuk Spark tidak menyertakan awalan spark:.
   • Opsi lain:
     • Anda dapat mengonfigurasi beban kerja batch untuk menggunakan Hive Metastore eksternal yang dikelola sendiri.
     • Anda dapat menggunakan Persistent History Server (PHS). PHS harus berada di region tempat Anda menjalankan workload batch.

4. Klik Kirim untuk menjalankan beban kerja batch Spark.

gcloud

Untuk mengirimkan beban kerja batch Spark guna menghitung perkiraan nilai pi, jalankan perintah gcloud dataproc batches submit spark gcloud CLI berikut secara lokal di jendela terminal atau di Cloud Shell.

gcloud dataproc batches submit spark \
    --region=REGION \
    --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
    --class=org.apache.spark.examples.SparkPi \
    -- 1000

Catatan:

• REGION: Tentukan region tempat workload Anda akan berjalan.
• Subnetwork: Subnetwork VPC yang menjalankan workload Dataproc Serverless untuk Spark harus diaktifkan untuk Akses Google Pribadi dan memenuhi persyaratan lain yang tercantum dalam Dataproc Serverless untuk konfigurasi jaringan Spark. Jika subnet jaringan default untuk region yang ditentukan dalam perintah gcloud dataproc batches submit tidak diaktifkan untuk Akses Google Pribadi, Anda harus melakukan salah satu hal berikut:
  • Aktifkan subnet jaringan default untuk region untuk Akses Google Pribadi, atau
  • Gunakan flag --subnet=SUBNET_URI untuk menentukan subnet yang telah mengaktifkan Akses Google Pribadi. Anda dapat menjalankan perintah gcloud compute networks describe <var>NETWORK_NAME</var> untuk menampilkan URI subnet dalam jaringan.
• --jars: Contoh file JAR telah diprainstal di lingkungan eksekusi Spark, Argumen perintah 1000 yang diteruskan ke workload SparkPi menentukan 1.000 iterasi logika estimasi pi (argumen input workload disertakan setelah "-- ").
• --properties: Anda dapat menambahkan tanda ini untuk memasukkan properti Spark yang didukung untuk digunakan oleh beban kerja batch Spark Anda.
• --deps-bucket: Anda dapat menambahkan tanda ini untuk menentukan bucket Cloud Storage tempat Dataproc Serverless akan mengupload dependensi beban kerja. Awalan URI gs:// bucket tidak diperlukan; Anda dapat menentukan jalur bucket atau nama bucket, misalnya, "mybucketname". Dataproc Serverless untuk Spark mengupload file lokal ke folder /dependencies di bucket sebelum menjalankan workload batch. Catatan: Flag ini diperlukan jika beban kerja batch Anda mereferensikan file di komputer lokal.
• --ttl: Anda dapat menambahkan flag --ttl untuk menentukan durasi masa aktif batch. Jika beban kerja melebihi durasi ini, beban kerja akan dihentikan tanpa syarat tanpa menunggu pekerjaan yang sedang berlangsung selesai. Tentukan durasi menggunakan akhiran s, m, h, atau d (detik, menit, jam, atau hari). Nilai minimumnya adalah 10 menit (10m), dan nilai maksimumnya adalah 14 hari (14d).
  • Batch runtime 1.1 atau 2.0: Jika --ttl tidak ditentukan untuk beban kerja batch runtime 1.1 atau 2.0, beban kerja diizinkan untuk berjalan hingga keluar secara alami (atau berjalan selamanya jika tidak keluar).
  • Batch runtime 2.1+: Jika --ttl tidak ditentukan untuk beban kerja batch runtime 2.1 atau yang lebih baru, nilai defaultnya adalah 4h.
• --service-account: Anda dapat menentukan akun layanan yang akan digunakan untuk menjalankan beban kerja. Jika Anda tidak menentukan akun layanan, beban kerja akan berjalan di bawah akun layanan default Compute Engine. Akun layanan Anda harus memiliki peran Dataproc Worker.
• Opsi lainnya: Anda dapat menambahkan flag gcloud dataproc batches submit spark untuk menentukan opsi workload dan properti Spark lainnya.
  • Hive Metastore: Perintah berikut mengonfigurasi beban kerja batch untuk menggunakan Hive Metastore mandiri yang dikelola sendiri eksternal menggunakan konfigurasi Spark standar.

    gcloud dataproc batches submit spark\
        --properties=spark.sql.catalogImplementation=hive,spark.hive.metastore.uris=METASTORE_URI,spark.hive.metastore.warehouse.dir=WAREHOUSE_DIR> \
        other args ...
            

  • Server Histori Permanen:
    1. Perintah berikut membuat PHS di cluster Dataproc satu node. PHS harus berada di region tempat Anda menjalankan workload batch, dan bucket-name Cloud Storage harus ada.

       gcloud dataproc clusters create PHS_CLUSTER_NAME \
           --region=REGION \
           --single-node \
           --enable-component-gateway \
           --properties=spark:spark.history.fs.logDirectory=gs://bucket-name/phs/*/spark-job-history
                    

    2. Kirimkan beban kerja batch, dengan menentukan Server Histori Persisten yang sedang berjalan.

       gcloud dataproc batches submit spark \
           --region=REGION \
           --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
           --class=org.apache.spark.examples.SparkPi \
           --history-server-cluster=projects/project-id/regions/region/clusters/PHS-cluster-name \
           -- 1000
                     

  • Versi runtime: Gunakan flag --version untuk menentukan versi runtime Dataproc Serverless untuk beban kerja.

    gcloud dataproc batches submit spark \
        --region=REGION \
        --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
        --class=org.apache.spark.examples.SparkPi \
        --version=VERSION
        -- 1000
                

API

Bagian ini menunjukkan cara membuat beban kerja batch untuk menghitung perkiraan nilai pi menggunakan Dataproc Serverless untuk Spark batches.create`

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

• project-id: Project ID Google Cloud.
• region: Region Compute Engine tempat Dataproc Serverless akan menjalankan beban kerja.
Catatan:
• RuntimeConfig.containerImage: Anda dapat menentukan image container kustom menggunakan format penamaan image Docker: {hostname}/{project-id}/{image}:{tag}, misalnya, "gcr.io/my-project-id/my-image:1.0.1". Catatan: Anda harus menghosting penampung kustom di Container Registry.
• ExecutionConfig.subnetworkUri: Subnet VPC yang menjalankan beban kerja Dataproc Serverless untuk Spark harus diaktifkan untuk Akses Google Pribadi dan memenuhi persyaratan lain yang tercantum dalam Konfigurasi jaringan Dataproc Serverless untuk Spark. Jika subnet jaringan default untuk region yang ditentukan tidak diaktifkan untuk Akses Google Pribadi, Anda harus melakukan salah satu hal berikut:
  1. Aktifkan subnet jaringan default untuk region untuk Akses Google Pribadi, atau
  2. Gunakan kolom ExecutionConfig.subnetworkUri untuk menentukan subnet yang telah mengaktifkan Akses Google Pribadi. Anda dapat menjalankan perintah gcloud compute networks describe [NETWORK_NAME] untuk menampilkan URI subnet dalam jaringan.
• sparkBatch.jarFileUris: Contoh file jar telah diinstal sebelumnya di lingkungan eksekusi Spark. sparkBatch.args "1000" diteruskan ke beban kerja SparkPi, dan menentukan 1.000 iterasi logika estimasi pi.
• RuntimeConfig.properties: Anda dapat menggunakan kolom ini untuk memasukkan properti Spark yang didukung untuk digunakan oleh workload batch Spark Anda.
• ExecutionConfig.serviceAccount: Anda dapat menentukan akun layanan yang akan digunakan untuk menjalankan beban kerja. Jika Anda tidak menentukan akun layanan, beban kerja akan berjalan di bawah akun layanan default Compute Engine. Akun layanan Anda harus memiliki peran Dataproc Worker.
• EnvironmentConfig.ttl: Anda dapat menggunakan kolom ini untuk menentukan durasi masa aktif batch. Jika beban kerja melebihi durasi ini, beban kerja akan dihentikan tanpa syarat tanpa menunggu pekerjaan yang sedang berlangsung selesai. Tentukan durasi sebagai representasi JSON untuk Durasi. Nilai minimumnya adalah 10 menit, dan nilai maksimumnya adalah 14 hari.
  • Batch runtime 1.1 atau 2.0: Jika --ttl tidak ditentukan untuk beban kerja batch runtime 1.1 atau 2.0, beban kerja diizinkan untuk berjalan hingga keluar secara alami (atau berjalan selamanya jika tidak keluar).
  • Batch runtime 2.1+: Jika --ttl tidak ditentukan untuk workload batch runtime 2.1 atau yang lebih baru, nilai defaultnya adalah 4 jam.
• Opsi lain:
  • Konfigurasikan beban kerja batch untuk menggunakan Hive Metastore eksternal yang dikelola sendiri.
  • Gunakan Persistent History Server (PHS). PHS harus berada di region tempat Anda menjalankan workload batch.
  • Gunakan kolom RuntimeConfig.version sebagai bagian dari permintaan batches.create untuk menentukan versi runtime Dataproc Serverless non-default
  .

Metode HTTP dan URL:

POST https://dataproc.googleapis.com/v1/projects/project-id/locations/region/batches

Meminta isi JSON:

{
  "sparkBatch":{
    "args":[
      "1000"
    ],
    "jarFileUris":[
      "file:///usr/lib/spark/examples/jars/spark-examples.jar"
    ],
    "mainClass":"org.apache.spark.examples.SparkPi"
  }
}

Untuk mengirim permintaan Anda, perluas salah satu opsi berikut:

curl (Linux, macOS, atau Cloud Shell)

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI dengan akun pengguna Anda dengan menjalankan gcloud init atau gcloud auth login , atau dengan menggunakan Cloud Shell, yang secara otomatis membuat Anda login ke gcloud CLI . Anda dapat memeriksa akun yang saat ini aktif dengan menjalankan gcloud auth list.

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://dataproc.googleapis.com/v1/projects/project-id/locations/region/batches"

PowerShell (Windows)

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI dengan akun pengguna Anda dengan menjalankan gcloud init atau gcloud auth login . Anda dapat memeriksa akun yang saat ini aktif dengan menjalankan gcloud auth list.

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://dataproc.googleapis.com/v1/projects/project-id/locations/region/batches" | Select-Object -Expand Content

Anda akan melihat respons JSON seperti berikut:

{
"name":"projects/project-id/locations/region/batches/batch-id",
  "uuid":",uuid",
  "createTime":"2021-07-22T17:03:46.393957Z",
  "sparkBatch":{
    "mainClass":"org.apache.spark.examples.SparkPi",
    "args":[
      "1000"
    ],
    "jarFileUris":[
      "file:///usr/lib/spark/examples/jars/spark-examples.jar"
    ]
  },
  "runtimeInfo":{
    "outputUri":"gs://dataproc-.../driveroutput"
  },
  "state":"SUCCEEDED",
  "stateTime":"2021-07-22T17:06:30.301789Z",
  "creator":"account-email-address",
  "runtimeConfig":{
    "properties":{
      "spark:spark.executor.instances":"2",
      "spark:spark.driver.cores":"2",
      "spark:spark.executor.cores":"2",
      "spark:spark.app.name":"projects/project-id/locations/region/batches/batch-id"
    }
  },
  "environmentConfig":{
    "peripheralsConfig":{
      "sparkHistoryServerConfig":{
      }
    }
  },
  "operation":"projects/project-id/regions/region/operation-id"
}

Cara beban kerja menghitung Pi: Beban kerja Spark memperkirakan nilai Pi menggunakan metode Monte Carlo. Metode ini menghasilkan titik `x,y` pada bidang koordinat yang memodelkan lingkaran dalam satu bangun persegi. Argumen input (`1000`) menentukan jumlah pasangan x,y yang akan dihasilkan; makin banyak pasangan yang dihasilkan, makin tinggi akurasi estimasi. Untuk mengetahui informasi selengkapnya, lihat Estimating Pi using the Monte Carlo Method dan lihat JavaSparkPi.java on GitHub.

Memperkirakan biaya workload

Workload Dataproc Serverless untuk Spark menggunakan Unit Komputasi Data (DCU) dan resource penyimpanan shuffle. Untuk contoh yang menghasilkan UsageMetrics Dataproc untuk memperkirakan biaya dan penggunaan resource workload, lihat Harga Dataproc Serverless.

Langkah selanjutnya

Pelajari:

• Kuota Dataproc Serverless
• Properti Spark