Présentation de Dataproc sur GKE

Dataproc sur GKE vous permet d'exécuter des applications de big data à l'aide de l'API Dataproc jobs sur des clusters GKE. Utilisez Google Cloud Console, la CLI Google Cloud ou l'API Dataproc (requête HTTP ou bibliothèques clientes Cloud) pour créer un cluster virtuel Dataproc sur GKE, puis envoyez une tâche Spark, PySpark, SparkR ou Spark-SQL au service Dataproc.

Dataproc sur GKE est compatible avec les versions Spark 2.4 et Spark 3.1.

Fonctionnement de Dataproc sur GKE

Dataproc sur GKE déploie des clusters virtuels Dataproc sur un cluster GKE. Contrairement aux anciens clusters Dataproc sur Compute Engine, les clusters virtuels Dataproc sur GKE n'incluent pas de VM maître et de VM distinctes. À la place, lorsque vous créez un cluster virtuel Dataproc sur GKE, Dataproc crée des pools de nœuds dans un cluster GKE. Les tâches Dataproc sur GKE sont exécutées en tant que pods sur ces pools de nœuds. Les pools de nœuds et la planification des pods de ces pools sont gérés par GKE.