En este documento, se muestra cómo habilitar las mejoras de rendimiento de Spark de Dataproc para ayudar a que tus trabajos de Spark de Dataproc procesen más datos en menos tiempo con costos reducidos.
Entre las mejoras de rendimiento de Spark de Dataproc, se incluyen las siguientes:
- Mejoras en el optimizador de Spark:
- Reglas del optimizador escritas para obtener mejores planes de Spark
- Rendimiento mejorado del conector de BigQuery de Dataproc cuando se usa en trabajos de Spark
- Mejoras en la ejecución de Spark:
- Mejoras en el motor de ejecución de Spark
Otras mejoras de rendimiento de Dataproc: Consulta la caché de clústeres de Dataproc, que ayuda a reducir la cantidad de tiempo que se dedica a acceder a los datos en Cloud Storage.
Cómo habilitar las mejoras de rendimiento de Spark de Dataproc
Puedes usar la consola de Google Cloud, Google Cloud CLI y la API de Dataproc para habilitar las mejoras de rendimiento de Spark de Dataproc cuando creas un clúster de Dataproc en Compute Engine o cuando envías tu trabajo de Spark al clúster.
Console
Habilita las mejoras durante la creación del clúster
Realiza los siguientes pasos para habilitar las optimizaciones y mejoras de ejecución de Spark cuando creas un clúster de Dataproc. Las mejoras habilitadas permanecen vigentes para todos los trabajos de Spark que se envían al clúster, a menos que inhabilites las mejoras para un trabajo específico cuando lo envíes. De forma predeterminada, las mejoras de rendimiento de Spark de Dataproc están inhabilitadas en un clúster de Dataproc.
- En la consola de Google Cloud, abre la página Create a cluster de Dataproc.
- En el formulario Crear clúster de Dataproc, haz clic en Crear en la línea Clúster en Compute Engine.
- En la página Crear un clúster de Dataproc en Compute Engine, haz clic en el panel Personalizar clúster y, luego, desplázate hasta la sección Propiedades del clúster.
- Para habilitar las mejoras de optimización de Spark, haz lo siguiente:
- Haz clic en + AGREGAR PROPIEDADES.
- Selecciona spark en la lista Prefix y, luego, agrega "spark.dataproc.enhanced.optimizer.enabled" en el campo Key y "true" en el campo Value.
- Para habilitar las mejoras de ejecución de Spark, haz lo siguiente:
- Haz clic en + AGREGAR PROPIEDADES.
- Selecciona spark en la lista Prefix y, luego, agrega "spark.dataproc.enhanced.execution.enabled" en el campo Key y "true" en el campo Value.
- Para habilitar las mejoras de optimización de Spark, haz lo siguiente:
- Completa o confirma los otros campos de creación del clúster y, luego, haz clic en Crear.
Habilita las mejoras en el envío de trabajos
Realiza los siguientes pasos para habilitar las optimizaciones de Spark y las mejoras de ejecución para un trabajo de Spark. De forma predeterminada, las mejoras de rendimiento de Spark de Dataproc están inhabilitadas en los trabajos de Spark, a menos que habilites las mejoras cuando crees un clúster de trabajo o las habilites para un trabajo específico.
- En la consola de Google Cloud, abre la página Trabajos de Dataproc.
- En la página Trabajos, haz clic en Enviar trabajo y, luego, desplázate hasta la sección Propiedades del trabajo.
- Para habilitar las mejoras de optimización de Spark, haz lo siguiente:
- Haz clic en + AGREGAR PROPIEDADES. Agrega "spark.dataproc.enhanced.optimizer.enabled" en el campo Clave y "true" en el campo Valor.
- Para habilitar las mejoras de ejecución de Spark, haz lo siguiente:
- Haz clic en + AGREGAR PROPIEDADES.
- Agrega "spark.dataproc.enhanced.execution.enabled" en el campo Clave y "true" en el campo Valor.
- Para habilitar las mejoras de optimización de Spark, haz lo siguiente:
- Completa o confirma los otros campos de envío de trabajos y, luego, haz clic en Enviar.
gcloud
Habilita las mejoras durante la creación del clúster
Realiza los siguientes pasos para habilitar las optimizaciones y mejoras de ejecución de Spark cuando creas un clúster de Dataproc. Las mejoras habilitadas permanecen vigentes para todos los trabajos de Spark que se envían al clúster, a menos que inhabilites las mejoras para un trabajo específico cuando lo envíes. De forma predeterminada, las mejoras de rendimiento de Spark de Dataproc están inhabilitadas en un clúster de Dataproc.
Ejecuta el siguiente comando gcloud dataproc clusters create de forma local en una ventana de la terminal o en Cloud Shell.
gcloud dataproc clusters create CLUSTER_NAME \ --project=PROJECT_ID \ --region=REGION \ --image-version=IMAGE \ --properties=PROPERTIES
Notas:
- CLUSTER_NAME: Es el nombre del clúster, que debe ser único dentro de un proyecto. El nombre debe comenzar con una letra minúscula y puede contener hasta 51 letras minúsculas, números y guiones. No puede terminar con un guion. El nombre de un clúster borrado se puede volver a usar.
- PROJECT_ID: Es el proyecto que se asociará con el clúster.
- REGION: Es la región de Compute Engine en la que se ubicará el clúster, como
us-central1
.- Puedes agregar la marca opcional
--zone=ZONE
para especificar una zona dentro de la región especificada, comous-central1-a
. Si no especificas una zona, la función de ubicación de zona automática de Dataproc selecciona una zona con la región especificada.
- Puedes agregar la marca opcional
- IMAGE: Las mejoras en el rendimiento de la ejecución y el optimizador de Spark de Dataproc están disponibles en las versiones de imagen
2.0.69+
y2.1.17+
de Dataproc y en versiones posteriores. Si omites esta marca, Dataproc seleccionará la versión submenor más reciente de la imagen predeterminada de Dataproc en Compute Engine para el clúster (consulta Versión predeterminada de la imagen de Dataproc). PROPERTIES:
- Para habilitar las mejoras de optimización de Spark, especifica lo siguiente:
spark:spark.dataproc.enhanced.optimizer.enabled=true
- Para habilitar las mejoras de ejecución de Spark, especifica lo siguiente:
spark:spark.dataproc.enhanced.execution.enabled=true
- Para habilitar la optimización y las mejoras de ejecución de Spark, especifica lo siguiente:
spark:spark.dataproc.enhanced.optimizer.enabled=true,spark:spark.dataproc.enhanced.execution.enabled=true
Habilita las mejoras en el envío de trabajos
Realiza los siguientes pasos para habilitar las optimizaciones de Spark y las mejoras de ejecución para un trabajo de Spark. De forma predeterminada, las mejoras de rendimiento de Spark de Dataproc están inhabilitadas en los trabajos de Spark, a menos que habilites las mejoras cuando crees un clúster de trabajo o las habilites para un trabajo específico.
Ejecuta el siguiente comando gcloud dataproc jobs submit de forma local en una ventana de la terminal o en Cloud Shell.
gcloud dataproc jobs submit SPARK_JOB_TYPE \ --cluster=CLUSTER_NAME \ --region=REGION \ --properties=PROPERTIES
Notas:
- SPARK_JOB_TYPE: Especifica
spark
,pyspark
,spark-sql
ospark-r
. - CLUSTER_NAME: Es el nombre del trabajo en el que se ejecutará el trabajo.
- REGION: Es la región en la que se encuentra el clúster.
PROPERTIES:
- Para habilitar las mejoras de optimización de Spark, especifica lo siguiente:
spark.dataproc.enhanced.optimizer.enabled=true
- Para habilitar las mejoras de ejecución de Spark, especifica lo siguiente:
spark.dataproc.enhanced.execution.enabled=true
- Para habilitar la optimización y las mejoras de ejecución de Spark, especifica lo siguiente:
spark.dataproc.enhanced.optimizer.enabled=true,spark.dataproc.enhanced.execution.enabled
- SPARK_JOB_TYPE: Especifica
API
Habilita las mejoras durante la creación del clúster
Realiza los siguientes pasos para habilitar las optimizaciones y mejoras de ejecución de Spark cuando creas un clúster de Dataproc. Las mejoras habilitadas permanecen vigentes para todos los trabajos de Spark que se envían al clúster, a menos que inhabilites las mejoras para un trabajo específico cuando lo envíes. De forma predeterminada, las mejoras de rendimiento de Spark de Dataproc están inhabilitadas en un clúster de Dataproc.
Especifica el siguiente
SoftwareConfig.properties
como parte de una solicitudclusters.create
:- Para habilitar las mejoras de optimización de Spark, especifica lo siguiente:
"spark:spark.dataproc.enhanced.optimizer.enabled": "true"
- Para habilitar las mejoras de ejecución de Spark, especifica lo siguiente:
"spark:spark.dataproc.enhanced.execution.enabled": "true"
- Para habilitar las optimizaciones y mejoras de ejecución de Spark, especifica lo siguiente:
"spark:spark.dataproc.enhanced.optimizer.enabled": "true","spark:spark.dataproc.enhanced.execution.enabled": "true"
Habilita las mejoras en el envío de trabajos
Realiza los siguientes pasos para habilitar las optimizaciones de Spark y las mejoras de ejecución para un trabajo de Spark. De forma predeterminada, las mejoras de rendimiento de Spark de Dataproc están inhabilitadas en los trabajos de Spark, a menos que habilites las mejoras cuando crees un clúster de trabajo o las habilites para un trabajo específico.
Especifica el siguiente
properties
para un SparkJob, PySparkJob, SparkSqlJob o SparkRJob como parte de unajobs.submit
solicitud:- Para habilitar las mejoras de optimización de Spark, especifica lo siguiente:
"spark.dataproc.enhanced.optimizer.enabled=true"
- Para habilitar las mejoras de ejecución de Spark, especifica lo siguiente:
"spark.dataproc.enhanced.execution.enabled=true"
- Para habilitar la optimización y las mejoras de ejecución de Spark, especifica lo siguiente:
"spark.dataproc.enhanced.execution.enabled=true,spark.dataproc.enhanced.optimizer.enabled=true"