Dataproc su GKE ti consente di eseguire applicazioni per big data utilizzando
API Dataproc jobs su cluster GKE.
Utilizza la console Google Cloud, Google Cloud CLI o l'API Dataproc
(richiesta HTTP o librerie client di Cloud)
crea un cluster virtuale Dataproc su GKE,
invia un job Spark, PySpark, SparkR o Spark-SQL a Dataproc
completamente gestito di Google Cloud.
Dataproc su GKE supporta le versioni di Spark 3.5.
Come funziona Dataproc su GKE
Dataproc su GKE esegue il deployment di cluster virtuali Dataproc su in un cluster GKE. A differenza dei cluster Dataproc su Compute Engine, i cluster virtuali Dataproc su GKE non includono VM master e worker separate. Quando crei un cluster virtuale Dataproc su GKE, Dataproc su GKE crea pool di nodi all'interno di un cluster GKE. Dataproc su GKE i job vengono eseguiti come pod su questi pool di nodi. I pool di nodi la pianificazione dei pod sui pool di nodi è gestita da GKE.