Dataproc en GKE te permite ejecutar aplicaciones de macrodatos mediante la API de Dataproc jobs en clústeres de GKE.
Usa la consola de Google Cloud, Google Cloud CLI o la API de Dataproc
(solicitud HTTP o bibliotecas cliente de Cloud) para
crear un clúster virtual de Dataproc on GKE
y, luego, envía un trabajo de Spark, PySpark, SparkR o Spark-SQL al servicio de
Dataproc.
Dataproc en GKE es compatible con las versiones de Spark 2.4 y Spark 3.1.
Cómo funciona Dataproc en GKE
Dataproc en GKE implementa clústeres virtuales de Dataproc en un clúster de GKE. A diferencia de los clústeres de Dataproc on Compute Engine, los clústeres virtuales de Dataproc on GKE no incluyen VM principales y de trabajador independientes. En cambio, cuando creas un clúster virtual de Dataproc on GKE, este servicio crea grupos de nodos dentro de un clúster de GKE. Los trabajos de Dataproc on GKE se ejecutan como pods en estos grupos de nodos. GKE administra los grupos de nodos y la programación de Pods en los grupos de nodos.