Ajuste automático de las cargas de trabajo de Spark

Optimizar una carga de trabajo de Spark para el rendimiento y la resiliencia puede ser un desafío debido a la cantidad de opciones de configuración de Spark y la dificultad de evaluar cómo esas opciones afectan una carga de trabajo. El ajuste automático sin servidores de Dataproc proporciona una alternativa a la configuración manual de las cargas de trabajo, ya que aplica de forma automática los parámetros de configuración de Spark a una carga de trabajo recurrente de Spark según las prácticas recomendadas de optimización de Spark y un análisis de las ejecuciones de las cargas de trabajo.

Regístrate para el ajuste automático de Dataproc Serverless

Si quieres registrarte para acceder a la versión preliminar del ajuste automático sin servidores de Dataproc que se describe en esta página, completa y envía el formulario de registro de Gemini en la vista previa de BigQuery. Una vez que se apruebe el formulario, los proyectos enumerados en él tendrán acceso a las funciones de vista previa.

Ventajas

El ajuste automático de Dataproc Serverless puede proporcionar los siguientes beneficios:

  • Rendimiento mejorado: Ajuste de optimización para aumentar el rendimiento.
  • Optimización más rápida: Configuración automática para evitar pruebas de configuración manuales que requieran mucho tiempo.
  • Mayor resiliencia: Asignación automática de memoria para evitar fallas relacionadas con la memoria

Limitaciones

El ajuste automático de Dataproc Serverless tiene las siguientes limitaciones:

  • El ajuste automático se calcula y se aplica a la segunda ejecución y las siguientes de una carga de trabajo. La primera ejecución de una carga de trabajo recurrente no se ajusta automáticamente porque el ajuste automático de Dataproc Serverless usa el historial de cargas de trabajo para la optimización.
  • No se admite la reducción de memoria.
  • El ajuste automático no se aplica de forma retroactiva a las cargas de trabajo en ejecución, solo a las cohortes de cargas de trabajo enviadas recientemente.

Cohortes de ajuste automático

El ajuste automático se aplica a ejecuciones recurrentes de una carga de trabajo por lotes, llamadas cohortes. El nombre de la cohorte que especificas cuando envías una carga de trabajo la identifica como una de las ejecuciones sucesivas de la carga de trabajo recurrente. Te recomendamos que uses nombres de cohorte que describan el tipo de carga de trabajo o que ayuden a identificar las ejecuciones de una carga de trabajo como parte de una carga de trabajo recurrente. Por ejemplo, especifica TPCH-Query1 como el nombre de la cohorte para una carga de trabajo programada que ejecuta una consulta diaria de TPC-H.

Situaciones de ajuste automático

Para aplicar el ajuste automático de Dataproc Serverless a tu carga de trabajo, selecciona una o más de las siguientes situaciones de ajuste automático:

  • MEMORY: Ajusta automáticamente la asignación de memoria de Spark para predecir y evitar posibles errores por falta de memoria de la carga de trabajo. Corrige una carga de trabajo con errores anteriores debido a un error de memoria insuficiente (OOM).
  • SCALING: Ajusta automáticamente la configuración del ajuste de escala automático de Spark.
  • BHJ: Ajusta automáticamente la configuración de Spark para optimizar el rendimiento de la unión de transmisión de SQL.

Precios

El ajuste automático de Dataproc Serverless se ofrece durante la vista previa sin cargo adicional. Se aplican los precios estándar de Dataproc Serverless.

Disponibilidad regional

Puedes usar el ajuste automático de Dataproc Serverless con lotes que se envían en regiones de Compute Engine disponibles.

Usa el ajuste automático de Dataproc Serverless

Puedes habilitar el ajuste automático de Dataproc Serverless en una carga de trabajo mediante la consola de Google Cloud, Google Cloud CLI o la API de Dataproc.

Console

Para habilitar el ajuste automático de Dataproc Serverless en cada envío de una carga de trabajo por lotes recurrente, sigue estos pasos:

  1. En la consola de Google Cloud, ve a la página Lotes de Dataproc.

    Ir a Lotes de Dataproc

  2. Para crear una carga de trabajo por lotes, haz clic en Crear.

  3. En la sección Contenedor, completa los siguientes campos para tu carga de trabajo de Spark:

    • Cohorte: El nombre de la cohorte, que identifica el lote como parte de una serie de cargas de trabajo recurrentes. El ajuste automático se aplica a la segunda carga de trabajo y las posteriores que se envían con este nombre de cohorte. Por ejemplo, especifica TPCH-Query1 como el nombre de la cohorte para una carga de trabajo programada que ejecuta una consulta diaria de TPC-H.
    • Situaciones de ajuste automático: Una o más situaciones de ajuste automático para optimizar la carga de trabajo, por ejemplo, BHJ, MEMORY y SCALING. Puedes cambiar la situación elegida con cada envío de cohorte por lotes.

  4. Completa otras secciones de la página Crear lote según sea necesario y, luego, haz clic en Enviar. Para obtener más información sobre estos campos, consulta Envía una carga de trabajo por lotes.

gcloud

Para habilitar el ajuste automático de Dataproc Serverless en cada envío de una carga de trabajo por lotes recurrente, ejecuta el siguiente comando gcloud dataproc batches submit de gcloud CLI de forma local en una ventana de terminal o en Cloud Shell.

gcloud dataproc batches submit COMMAND \
    --region=REGION \
    --cohort=COHORT \
    --autotuning-scenarios=SCENARIOS \
    other arguments ...

Reemplaza lo siguiente:

  • COMMAND: Es el tipo de carga de trabajo de Spark, como Spark, PySpark, Spark-Sql o Spark-R.
  • REGION: Es la región en la que se ejecutará tu carga de trabajo.
  • COHORT: Es el nombre de la cohorte, que identifica el lote como parte de una serie de cargas de trabajo recurrentes. El ajuste automático se aplica a la segunda carga de trabajo y las posteriores que se envían con este nombre de cohorte. Por ejemplo, especifica TPCH Query 1 como el nombre de la cohorte de una carga de trabajo programada que ejecuta una consulta diaria de TPC-H.
  • SCENARIOS: Una o más situaciones de ajuste automático separadas por comas que se usarán para optimizar la carga de trabajo, por ejemplo, --autotuning-scenarios=OOM,MEMORY,SCALING Puedes cambiar la lista de situaciones con cada envío de cohorte por lotes.

API

Para habilitar el ajuste automático de Dataproc Serverless en cada envío de una carga de trabajo por lotes recurrente, envía una solicitud batches.create que incluya los siguientes campos:

  • RuntimeConfig.cohort: Es el nombre de la cohorte, que identifica el lote como parte de una serie de cargas de trabajo recurrentes. El ajuste automático se aplica a la segunda carga de trabajo y las posteriores que se envían con este nombre de cohorte. Por ejemplo, especifica TPCH-Query1 como el nombre de la cohorte para una carga de trabajo programada que ejecuta una consulta diaria de TPC-H.
  • AutotuningConfig.scenarios: Una o más situaciones de ajuste automático que se usarán para optimizar la carga de trabajo, por ejemplo, BHJ, MEMORY y SCALING Puedes cambiar la lista de situaciones con cada envío de cohorte por lotes.

Ejemplo:

...
runtimeConfig:
  cohort: TPCH-Query1
  autotuningConfig:
    scenarios:
    - BHJ
    - MEMORY
    - SCALING
...

Ver cambios de ajuste automático

Para ver los cambios de ajuste automático de Dataproc Serverless en una carga de trabajo por lotes, ejecuta el comando gcloud dataproc batches describe.

Ejemplo: El resultado de gcloud dataproc batches describe es similar al siguiente:

...
runtimeInfo:
   propertiesInfo:
    # Properties set by autotuning.
    autotuningProperties
      spark.driver.memory:
        annotation: Driver OOM was detected
        value: 11520m
      spark.driver.memoryOverhead:
        annotation: Driver OOM was detected
        value: 4608m
    # Old overwritten properties.
    userProperties
...

También puedes ver los cambios de ajuste automático más recientes que se aplicaron a una carga de trabajo en ejecución, completada o con errores en la página Detalles del lote de la consola de Google Cloud, en la pestaña Investigar.

Panel de investigación de ajuste automático.