Dataproc di GKE memungkinkan Anda menjalankan aplikasi Big Data menggunakan
jobs API Dataproc di cluster GKE.
Gunakan Konsol Google Cloud, Google Cloud CLI, atau Dataproc API
(permintaan HTTP atau Cloud Client Library) untuk
membuat Dataproc di cluster virtual GKE,
lalu kirim tugas Spark, PySpark, SparkR, atau Spark-SQL ke layanan
Dataproc.
Dataproc di GKE mendukung versi Spark 3.5.
Cara kerja Dataproc di GKE
Dataproc on GKE men-deploy cluster virtual Dataproc di cluster GKE. Tidak seperti Dataproc di cluster Compute Engine, Dataproc di cluster virtual GKE tidak menyertakan VM master dan pekerja terpisah. Sebagai gantinya, saat Anda membuat cluster virtual Dataproc di GKE, Dataproc di GKE akan membuat node pool dalam cluster GKE. Tugas Dataproc di GKE dijalankan sebagai pod di node pool ini. Node pool dan penjadwalan pod di node pool dikelola oleh GKE.