Apa itu Dataproc Serverless?

Dataproc Serverless memungkinkan Anda menjalankan beban kerja Spark tanpa mengharuskan Anda menyediakan dan mengelola cluster Dataproc Anda sendiri.

Ada dua cara untuk menjalankan beban kerja Dataproc Serverless:

  1. Dataproc Serverless untuk Spark Batch: Gunakan konsol Google Cloud, Google Cloud CLI, atau Dataproc API untuk mengirimkan workload batch ke layanan Dataproc Serverless. Layanan ini akan menjalankan beban kerja pada infrastruktur komputasi terkelola, dengan penskalaan otomatis resource sesuai kebutuhan. Biaya Dataproc Serverless hanya berlaku saat beban kerja dieksekusi.

    Untuk memulai, lihat Menjalankan beban kerja batch Apache Spark.

  2. Dataproc Serverless untuk Spark Interactive: Tulis dan jalankan kode di notebook Jupyter selama sesi Dataproc Serverless untuk sesi Interaktif Spark. Anda dapat membuat sesi notebook dengan cara berikut:

    • Gunakan plugin Dataproc JupyterLab untuk membuat beberapa sesi notebook dari template yang Anda buat dan kelola. Saat Anda menginstal plugin di komputer lokal atau VM Compute Engine, kartu lain yang sesuai dengan konfigurasi kernel Spark yang berbeda akan muncul di halaman peluncur JupyterLab. Klik kartu untuk membuat sesi notebook Dataproc Serverless, lalu mulailah menulis dan menguji kode Anda di notebook.

    Plugin Dataproc JupyterLab juga memungkinkan Anda menggunakan halaman peluncur JupyterLab untuk melakukan tindakan berikut:

    • Buat Dataproc di cluster Compute Engine.
    • Kirim tugas ke Dataproc di cluster Compute Engine.
    • Melihat log Google Cloud dan Spark.

Untuk memulai, lihat Menggunakan JupyterLab untuk sesi notebook interaktif dan batch serverless.

Dataproc Serverless untuk Spark dibandingkan dengan Dataproc di Compute Engine

Dataproc di Compute Engine sangat ideal jika Anda ingin menyediakan dan mengelola infrastruktur, lalu menjalankan beban kerja di Spark dan framework pemrosesan open source lainnya. Tabel berikut mencantumkan perbedaan utama antara Dataproc di Compute Engine dan Dataproc Serverless untuk Spark.

Kemampuan Dataproc Serverless untuk Spark Dataproc di Compute Engine
Framework pemrosesan Batch: Spark 3.4 dan versi yang lebih lama
Interactive: Kernel PySpark untuk Spark 3.4 dan versi yang lebih lama
Spark 3.3 dan versi yang lebih lama. Framework open source lainnya, seperti Hive, Flink, Trino, dan Kafka
Serverless Ya Tidak
Waktu startup 60 dtk 90-an
Kontrol infrastruktur Tidak Ya
Pengelolaan resource Berbasis percikan Berbasis YARN
Dukungan GPU Direncanakan Ya
Sesi interaktif Ya Tidak
Container kustom Ya Tidak
Akses VM (misalnya, SSH) Tidak Ya
Versi Java Java 17, 11 Versi sebelumnya didukung
Dukungan OS Login * Tidak Ya

Catatan:

  • Kebijakan Login OS tidak berlaku untuk atau didukung oleh Dataproc Serverless. Jika organisasi Anda menerapkan kebijakan OS Login, beban kerja Dataproc Serverless-nya akan gagal.

Kepatuhan keamanan Serverless Dataproc

Dataproc Serverless mematuhi semua residensi data, CMEK, VPC-SC, dan persyaratan keamanan lainnya yang dipatuhi oleh Dataproc.

Dataproc Serverless untuk kemampuan workload batch Spark

Anda dapat menjalankan Dataproc Serverless untuk jenis beban kerja batch Spark berikut:

  • Percikan api
  • Spark SQL
  • Percikan R
  • Spark (Java atau Scala)

Anda dapat menentukan properti Spark saat mengirimkan Dataproc Serverless untuk workload batch Spark.