Puedes conectar aceleradores de GPU a tus cargas de trabajo por lotes de Dataproc Serverless para lograr los siguientes resultados:
Acelera el procesamiento de cargas de trabajo de análisis de datos a gran escala.
Acelera el entrenamiento de modelos en conjuntos de datos grandes mediante las bibliotecas de aprendizaje automático de GPU.
Llevar a cabo análisis de datos avanzados, como videos o lenguaje natural el procesamiento de datos.
Todos los entorno de ejecución de Spark sin servidores de Dataproc compatibles añaden la biblioteca RAPIDS de Spark a cada nodo de carga de trabajo. La versión 1.1 del entorno de ejecución de Dataproc Serverless Spark también agrega la biblioteca XGBoost a los nodos de carga de trabajo. Estas bibliotecas proporcionan una potente transformación de datos de aprendizaje automático que puedes usar en tus cargas de trabajo aceleradas con GPU.
Beneficios de las GPU
Estos son algunos de los beneficios de usar GPUs con tus cargas de trabajo de Spark sin servidores de Dataproc:
Mejora del rendimiento: La aceleración de la GPU puede aumentar significativamente. Impulsa el rendimiento de las cargas de trabajo, particularmente para las tareas de procesamiento intensivo, como aprendizaje automático y profundo, procesamiento de grafos y estadísticas complejas.
Entrenamiento de modelos más rápido: Para las tareas de aprendizaje automático, conectar GPUs puede reducir de forma significativa el tiempo necesario para entrenar modelos, lo que permite a los científicos de datos y a los ingenieros iterar y experimentar con rapidez.
Escalabilidad: Los clientes pueden agregar más nodos de GPU o GPU más potentes a los nodos para para manejar necesidades de procesamiento cada vez más complejas.
Eficiencia de costos: Aunque las GPUs requieren una inversión inicial, puedes obtener ahorros de costos a lo largo del tiempo debido a los tiempos de procesamiento reducidos y al uso más eficiente de los recursos.
Análisis de datos mejorado: La aceleración de GPU te permite realizar estadísticas avanzadas. como análisis de imágenes y videos y procesamiento de lenguaje natural, en grandes conjuntos de datos.
Productos mejorados: El procesamiento más rápido permite tomar decisiones más rápido y aplicaciones más responsivas.
Limitaciones y consideraciones
Puedes conectar NVIDIA A100 o GPU NVIDIA L4 para cargas de trabajo por lotes sin servidores de Dataproc. Los aceleradores A100 y L4 están sujetos a Disponibilidad regional de GPU de Compute Engine.
La biblioteca de XGBoost solo se proporciona a las cargas de trabajo aceleradas por GPU de Dataproc Serverless cuando se usa la versión 1.x del entorno de ejecución de Spark de Dataproc Serverless.
Los lotes sin servidores de Dataproc acelerados por GPU con XGBoost usan cuotas de Compute Engine aumentadas. Por ejemplo, para ejecutar una carga de trabajo por lotes sin servidores que usa una GPU NVIDIA L4, debes asignar la cuota de NVIDIA_L4_GPUS.
Los trabajos habilitados por el acelerador no son compatibles con
constraints/compute.requireShieldedVm
política de la organización. Si tu organización aplica esta política, sus trabajos habilitados para el acelerador no se ejecutarán correctamente.Debes establecer el conjunto de caracteres predeterminado en UTF-8 cuando uses la aceleración de GPU de RAPIDS con entorno de ejecución de Dataproc sin servidores compatibles anteriores a la versión
2.2
. Consulta Crea una carga de trabajo por lotes sin servidores con aceleradores de GPU para obtener más información.
Precios
Consulta los precios de Dataproc Serverless para obtener información sobre los precios del acelerador.
Antes de comenzar
Antes de crear una carga de trabajo por lotes sin servidores con aceleradores de GPU conectados, haz lo siguiente:
- Accede a tu cuenta de Google Cloud. Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Asegúrate de que la facturación esté habilitada para tu proyecto de Google Cloud.
-
Enable the Dataproc, Compute Engine, and Cloud Storage APIs.
- Install the Google Cloud CLI.
-
To initialize the gcloud CLI, run the following command:
gcloud init
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Asegúrate de que la facturación esté habilitada para tu proyecto de Google Cloud.
-
Enable the Dataproc, Compute Engine, and Cloud Storage APIs.
- Install the Google Cloud CLI.
-
To initialize the gcloud CLI, run the following command:
gcloud init
- In the Google Cloud console, go to the Cloud Storage Buckets page.
- Click Create bucket.
- On the Create a bucket page, enter your bucket information. To go to the next
step, click Continue.
- For Name your bucket, enter a name that meets the bucket naming requirements.
-
For Choose where to store your data, do the following:
- Select a Location type option.
- Select a Location option.
- For Choose a default storage class for your data, select a storage class.
- For Choose how to control access to objects, select an Access control option.
- For Advanced settings (optional), specify an encryption method, a retention policy, or bucket labels.
- Click Create.
Crea una carga de trabajo por lotes sin servidores con aceleradores de GPU
Envía una carga de trabajo por lotes de Dataproc sin servidores que use GPUs NVIDIA L4 para ejecutar una tarea de PySpark paralela. Sigue estos pasos con gcloud CLI:
Haz clic en Expandir, luego crea y guarda el código de PySpark enumerado en una
test-py-spark-gpu.py
en tu máquina local con un editor de texto o código.#!/usr/bin/env python """S8s Accelerators Example.""" import subprocess from typing import Any from pyspark.sql import SparkSession from pyspark.sql.functions import col from pyspark.sql.types import IntegerType from pyspark.sql.types import StructField from pyspark.sql.types import StructType spark = SparkSession.builder.appName("joindemo").getOrCreate() def get_num_gpus(_: Any) -> int: """Returns the number of GPUs.""" p_nvidia_smi = subprocess.Popen( ["nvidia-smi", "-L"], stdin=None, stdout=subprocess.PIPE ) p_wc = subprocess.Popen( ["wc", "-l"], stdin=p_nvidia_smi.stdout, stdout=subprocess.PIPE, stderr=subprocess.PIPE, universal_newlines=True, ) [out, _] = p_wc.communicate() return int(out) num_workers = 5 result = ( spark.sparkContext.range(0, num_workers, 1, num_workers) .map(get_num_gpus) .collect() ) num_gpus = sum(result) print(f"Total accelerators: {num_gpus}") # Run the join example schema = StructType([StructField("value", IntegerType(), True)]) df = ( spark.sparkContext.parallelize(range(1, 10000001), 6) .map(lambda x: (x,)) .toDF(schema) ) df2 = ( spark.sparkContext.parallelize(range(1, 10000001), 6) .map(lambda x: (x,)) .toDF(schema) ) joined_df = ( df.select(col("value").alias("a")) .join(df2.select(col("value").alias("b")), col("a") == col("b")) .explain() )
Usa gcloud CLI en tu máquina local para enviar el Trabajo por lotes sin servidores de Dataproc Serverless con cinco trabajadores, por cada trabajador se acelera con las GPU L4:
gcloud dataproc batches submit pyspark test-py-spark-gpu.py \ --project=PROJECT_ID \ --region=REGION \ --deps-bucket=BUCKET_NAME \ --version=1.1 \ --properties=spark.dataproc.executor.compute.tier=premium,spark.dataproc.executor.disk.tier=premium,spark.dataproc.executor.resource.accelerator.type=l4,spark.executor.instances=5,spark.dataproc.driverEnv.LANG=C.UTF-8,spark.executorEnv.LANG=C.UTF-8,spark.shuffle.manager=com.nvidia.spark.rapids.RapidsShuffleManager
Notas:
- PROJECT_ID es el ID del proyecto de Google Cloud.
- REGION: Una región de Compute Engine disponible para para ejecutar la carga de trabajo.
- BUCKET_NAME: Es el nombre de tu bucket de Cloud Storage. Spark sube las dependencias de la carga de trabajo a una carpeta
/dependencies
en este bucket antes de ejecutar la carga de trabajo por lotes. - --version: Todos los entornos de ejecución compatibles de Dataproc Serverless agrega el comando RAPIDS biblioteca a cada nodo de una carga de trabajo acelerada por GPU. Actualmente, Solo la versión 1.1 del entorno de ejecución agrega la capa XGBoost biblioteca a cada nodo de una carga de trabajo acelerada por GPU.
--properties (consulta Propiedades de asignación de recursos de Spark) :
spark.dataproc.driverEnv.LANG=C.UTF-8
yspark.executorEnv.LANG=C.UTF-8
(obligatorio con las versiones del entorno de ejecución anteriores a2.2
): Estas propiedades se establecen el grupo de caracteres predeterminado en C.UTF-8.spark.dataproc.executor.compute.tier=premium
(obligatorio): Las cargas de trabajo aceleradas por GPU se facturan con unidades de procesamiento de datos premium (DCU). Consulta los precios del acelerador de Dataproc Serverless.spark.dataproc.executor.disk.tier=premium
(obligatorio): Los nodos con aceleradores A100-40, A100-80 o L4 deben usar el nivel de disco premium.spark.dataproc.executor.resource.accelerator.type=l4
(obligatorio): solo se debe especificar un tipo de GPU. El trabajo de ejemplo selecciona la GPU L4. El los siguientes tipos de acelerador se pueden especificar con el siguiente argumento nombres:Tipo de GPU Nombre del argumento A100 40 GB a100-40
A100 80 GB a100-80
spark.executor.instances=5
(obligatorio): Debe haber al menos dos. Establecer en cinco para este ejemplo.spark.executor.cores
(opcional): Puedes configurar esta propiedad para especificar la cantidad de CPU virtuales de núcleo. Los valores válidos para las GPUs L4 son4
, el valor predeterminado, o8
,12
,16
,24
,48
o96
. El único el valor válido y predeterminado para las GPU A100 es12
. Las configuraciones con GPUs L4 y núcleos24
,48
o96
tienen GPUs2
,4
o8
conectadas a cada ejecutor. Todos los demás parámetros de configuración tienen1
GPU conectada.spark.dataproc.executor.disk.size
(obligatorio): Las GPU L4 tienen un un tamaño de disco de 375 GB, excepto para los parámetros de configuración con24
,48
o96
que tienen750
,1,500
o3,000
GB, respectivamente. Si configuras esta propiedad en un valor diferente cuando envías una carga de trabajo acelerada por L4, se produce un error. Si seleccionas una GPU A100 40 o A100 80, los tamaños válidos son 375 g, 750 g, 1500 g, 3000 g, 6000 g y 9000 g.spark.executor.memory
(opcional) yspark.executor.memoryOverhead
(opcional): Puedes establecer una de estas pero no ambas. La cantidad de memoria disponible que no consume la propiedad set se aplica a la propiedad unset. De forma predeterminada,spark.executor.memoryOverhead
está configurado para el 40% de la memoria disponible cargas de trabajo por lotes de PySpark y un 10% para otras cargas de trabajo (consulta Propiedades de asignación de recursos de Spark).En la siguiente tabla, se muestra la cantidad máxima de memoria que se puede establecer para diferentes configuraciones de GPU A100 y L4. El valor mínimo para cualquiera de tiene
1024
MB.A100 (40 GB) A100 (80 GB) L4 (4 núcleos) L4 (8 núcleos) L4 (12 núcleos) L4 (16 núcleos) L4 (24 núcleos) L4 (48 núcleos) L4 (96 núcleos) Memoria total máxima (MB) 78040 165080 13384 26768 40152 53536 113072 160608 321216 Propiedades de RAPIDS de Spark (opcional): De forma predeterminada, Dataproc Serverless establece los siguientes valores de propiedades de RAPIDS de Spark:
spark.plugins
=com.nvidia.spark.SQLPluginspark.executor.resource.gpu.amount
=1spark.task.resource.gpu.amount
=1/$spark_executor_coresspark.shuffle.manager
=''. De forma predeterminada, esta propiedad no está configurada. Sin embargo, NVIDIA recomienda activar el administrador de shuffle de RAPIDS cuando se usan GPUs para mejorar el rendimiento. Para hacerlo, configuraspark.shuffle.manager=com.nvidia.spark.rapids.RapidsShuffleManager
cuando envías una carga de trabajo.
Consulta Configuración de RAPIDS Accelerator para Apache Spark para establecer propiedades de RAPIDS de Spark y Configuración avanzada de RAPIDS Accelerator para Apache Spark para establecer propiedades avanzadas de Spark.