Usa GPU con Dataproc Serverless

Puedes adjuntar aceleradores de GPU a tus cargas de trabajo por lotes de Dataproc Serverless para lograr los siguientes resultados:

• Acelera el procesamiento de cargas de trabajo de análisis de datos a gran escala.

• Acelera el entrenamiento de modelos en conjuntos de datos grandes con las bibliotecas de aprendizaje automático de GPU.

• Llevar a cabo análisis de datos avanzados, como procesamiento de videos o lenguaje natural.

Todos los entornos de ejecución compatibles de Dataproc Serverless Spark agregan la biblioteca RAPIDS de Spark a cada nodo de carga de trabajo. La versión 1.1 del entorno de ejecución de Spark sin servidores de Dataproc Serverless también agrega la biblioteca XGBoost a los nodos de las cargas de trabajo. Estas bibliotecas proporcionan herramientas potentes de transformación de datos y aprendizaje automático que puedes usar en tus cargas de trabajo aceleradas por GPU.

Beneficios de las GPU

Estos son algunos de los beneficios de usar GPU con tus cargas de trabajo de Spark sin servidores de Dataproc:

• Mejora del rendimiento: La aceleración de GPU puede aumentar significativamente el rendimiento de las cargas de trabajo de Spark, en particular para tareas de procesamiento intensivo, como aprendizaje automático y profundo, procesamiento de grafos y estadísticas complejas.

• Entrenamiento de modelos más rápido: Para las tareas de aprendizaje automático, conectar GPU puede reducir drásticamente el tiempo necesario para entrenar modelos, lo que permite que los ingenieros y científicos de datos iteren y experimenten con rapidez.

• Escalabilidad: Los clientes pueden agregar más nodos de GPU o GPU más potentes a los nodos para manejar necesidades de procesamiento cada vez más complejas.

• Rentabilidad: Aunque las GPU requieren una inversión inicial, puedes lograr un ahorro de costos con el tiempo debido a los tiempos de procesamiento reducidos y el uso más eficiente de recursos.

• Análisis de datos mejorados: La aceleración de GPU te permite realizar estadísticas avanzadas, como el análisis de imágenes y videos, y el procesamiento de lenguaje natural, en grandes conjuntos de datos.

• Productos mejorados: El procesamiento más rápido permite tomar decisiones más rápido y usar aplicaciones más responsivas.

Limitaciones y consideraciones

• Puedes conectar las GPU NVIDIA A100 o NVIDIA L4 a las cargas de trabajo por lotes de Dataproc Serverless. Los aceleradores A100 y L4 están sujetos a la disponibilidad regional de GPU de Compute Engine.

• La biblioteca XGBoost solo se proporciona a las cargas de trabajo de Dataproc Serverless aceleradas por GPU cuando se usa la versión 1.x del entorno de ejecución de Spark sin servidores de Dataproc.

• Los lotes acelerados por GPU sin servidores de Dataproc con XGBoost usan cuotas de Compute Engine mayores. Por ejemplo, para ejecutar una carga de trabajo por lotes sin servidores que usa una GPU NVIDIA L4, debes asignar la cuota de NVIDIA_L4_GPUS.

• Los trabajos habilitados para aceleradores no son compatibles con la política de la organización constraints/compute.requireShieldedVm. Si tu organización aplica esta política, sus trabajos habilitados para el acelerador no se ejecutarán de forma correcta.

• Debes configurar el grupo de caracteres predeterminado en UTF-8 cuando uses la aceleración de GPU RAPIDS con entornos de ejecución compatibles con Dataproc Serverless anteriores a la versión 2.2. Consulta Crea una carga de trabajo por lotes sin servidores con aceleradores de GPU para obtener más información.

Precios

Consulta los precios de Dataproc Serverless para obtener información sobre los precios del acelerador.

Antes de comenzar

Antes de crear una carga de trabajo por lotes sin servidores con aceleradores de GPU conectados, haz lo siguiente:

1. Accede a tu cuenta de Google Cloud. Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Asegúrate de que la facturación esté habilitada para tu proyecto de Google Cloud.

4. Habilita las API de Dataproc, Compute Engine, and Cloud Storage.

   Habilita las API

5. Instala Google Cloud CLI.

6. Para inicializar la CLI de gcloud, ejecuta el siguiente comando:

   gcloud init

7. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

8. Asegúrate de que la facturación esté habilitada para tu proyecto de Google Cloud.

9. Habilita las API de Dataproc, Compute Engine, and Cloud Storage.

   Habilita las API

10. Instala Google Cloud CLI.

11. Para inicializar la CLI de gcloud, ejecuta el siguiente comando:

    gcloud init

12. En la consola de Google Cloud, ve a la página Buckets de Cloud Storage.

    Ir a la página Buckets

13. Haga clic en Crear bucket.
14. En la página Crear un bucket, ingresa la información de tu bucket. Para ir al paso siguiente, haz clic en Continuar.
    • En Nombre de tu bucket, ingresa un nombre que cumpla con los requisitos de nomenclatura de buckets.
    • En Elige dónde almacenar tus datos, haz lo siguiente:
      • Selecciona una opción de Tipo de ubicación.
      • Selecciona una opción de Ubicación.
    • Para Elegir una clase de almacenamiento predeterminada para tus datos, selecciona una clase de almacenamiento.
    • En Elige cómo controlar el acceso a los objetos, selecciona una opción de Control de acceso.
    • Para la Configuración avanzada (opcional), especifica un método de encriptación, una política de retención o etiquetas de bucket.
15. Haga clic en Crear.

Crea una carga de trabajo por lotes sin servidores con aceleradores de GPU

Enviar una carga de trabajo por lotes de Dataproc Serverless que use GPU de NVIDIA L4 para ejecutar una tarea de PySpark en paralelo. Sigue estos pasos con gcloud CLI:

1. Haz clic en Expandirme y, luego, crea y guarda el código de PySpark que aparece en un archivo test-py-spark-gpu.py en tu máquina local con un editor de texto o código.

   Expandirme Contraerme

   #!/usr/bin/env python
   
   """S8s Accelerators Example."""
   
   import subprocess
   from typing import Any
   from pyspark.sql import SparkSession
   from pyspark.sql.functions import col
   from pyspark.sql.types import IntegerType
   from pyspark.sql.types import StructField
   from pyspark.sql.types import StructType
   
   spark = SparkSession.builder.appName("joindemo").getOrCreate()
   
   def get_num_gpus(_: Any) -> int:
     """Returns the number of GPUs."""
     p_nvidia_smi = subprocess.Popen(
         ["nvidia-smi", "-L"], stdin=None, stdout=subprocess.PIPE
     )
     p_wc = subprocess.Popen(
         ["wc", "-l"],
         stdin=p_nvidia_smi.stdout,
         stdout=subprocess.PIPE,
         stderr=subprocess.PIPE,
         universal_newlines=True,
     )
     [out, _] = p_wc.communicate()
     return int(out)
   
   num_workers = 5
   result = (
       spark.sparkContext.range(0, num_workers, 1, num_workers)
       .map(get_num_gpus)
       .collect()
   )
   num_gpus = sum(result)
   print(f"Total accelerators: {num_gpus}")
   
   # Run the join example
   schema = StructType([StructField("value", IntegerType(), True)])
   df = (
       spark.sparkContext.parallelize(range(1, 10000001), 6)
       .map(lambda x: (x,))
       .toDF(schema)
   )
   df2 = (
       spark.sparkContext.parallelize(range(1, 10000001), 6)
       .map(lambda x: (x,))
       .toDF(schema)
   )
   joined_df = (
       df.select(col("value").alias("a"))
       .join(df2.select(col("value").alias("b")), col("a") == col("b"))
       .explain()
   )
   
   

2. Usa gcloud CLI en tu máquina local para enviar el trabajo por lotes sin servidores de Dataproc Serverless con cinco trabajadores, cada uno acelerado con GPU L4:

   gcloud dataproc batches submit pyspark test-py-spark-gpu.py \
       --project=PROJECT_ID \
       --region=REGION \
       --deps-bucket=BUCKET_NAME \
       --version=1.1 \
       --properties=spark.dataproc.executor.compute.tier=premium,spark.dataproc.executor.disk.tier=premium,spark.dataproc.executor.resource.accelerator.type=l4,spark.executor.instances=5,spark.dataproc.driverEnv.LANG=C.UTF-8,spark.executorEnv.LANG=C.UTF-8,spark.shuffle.manager=com.nvidia.spark.rapids.RapidsShuffleManager
   

Notas:

• PROJECT_ID es el ID del proyecto de Google Cloud.
• REGION: Es una región de Compute Engine disponible para ejecutar la carga de trabajo.
• BUCKET_NAME: Es el nombre de tu bucket de Cloud Storage. Spark sube las dependencias de las cargas de trabajo a una carpeta /dependencies en este bucket antes de ejecutar la carga de trabajo por lotes.
• --version: Todos los entornos de ejecución compatibles con Dataproc Serverless agregan la biblioteca RAPIDS a cada nodo de una carga de trabajo acelerada por GPU. Actualmente, solo la versión 1.1 del entorno de ejecución agrega la biblioteca XGBoost a cada nodo de una carga de trabajo acelerada por GPU.

• --properties (consulta las propiedades de asignación de recursos de Spark) :

  • spark.dataproc.driverEnv.LANG=C.UTF-8 y spark.executorEnv.LANG=C.UTF-8 (obligatorios con las versiones de entorno de ejecución anteriores a 2.2): Estas propiedades establecen el grupo de caracteres predeterminado en C.UTF-8.

  • spark.dataproc.executor.compute.tier=premium (obligatorio): Las cargas de trabajo aceleradas por GPU se facturan con unidades de procesamiento de datos (DCU) premium. Consulta los precios de aceleradores de Dataproc Serverless.

  • spark.dataproc.executor.disk.tier=premium (obligatorio): Los nodos con aceleradores A100-40, A100-80 o L4 deben usar el nivel de disco premium.

  • spark.dataproc.executor.resource.accelerator.type=l4 (obligatorio): Solo se debe especificar un tipo de GPU. En el trabajo de ejemplo, se selecciona la GPU L4. Los siguientes tipos de aceleradores se pueden especificar con los siguientes nombres de argumento:

    Tipo de GPU	Nombre del argumento
    A100 40 GB	a100-40
    A100 80 GB	a100-80

  • spark.executor.instances=5 (obligatorio): Debe ser al menos dos. Debes establecerlo en cinco para este ejemplo.

  • spark.executor.cores (opcional): Puedes configurar esta propiedad para especificar la cantidad de CPU virtuales principales. Los valores válidos para las GPU L4 son 4, el valor predeterminado o 8, 12 o 16. El único valor válido y predeterminado para las GPU A100 es 12.

  • spark.dataproc.executor.disk.size (opcional para las GPU A100-40 y A100-80): Dataproc Serverless establece el tamaño predeterminado del disco SSD de la GPU en 375 GB. Puedes cambiar el tamaño cuando usas GPU A100 40 o A100 80 (consulta las propiedades de asignación de recursos de Spark). Las GPU L4 requieren un tamaño de 375 GB. Si estableces esta propiedad en un valor diferente cuando envías una carga de trabajo acelerada por L4, se produce un error.

  • spark.executor.memory (opcional) y spark.executor.memoryOverhead (opcional): Puedes establecer una de estas propiedades, pero no ambas. La cantidad de memoria disponible que no consume la propiedad establecida se aplica a la propiedad no establecida. De forma predeterminada, spark.executor.memoryOverhead se establece en un 40% de la memoria disponible para cargas de trabajo por lotes de PySpark y en un 10% para otras cargas de trabajo (consulta Propiedades de asignación de recursos de Spark).

    En la siguiente tabla, se muestra la cantidad máxima de memoria que se puede establecer para diferentes configuraciones de GPU A100 y L4. El valor mínimo para cualquiera de las propiedades es de 1024 MB.

    	A100 (40 GB)	A100 (80 GB)	L4 (4 núcleos)	L4 (8 núcleos)	L4 (12 núcleos)	L4 (16 núcleos)
    Memoria total máxima (MB)	78040	165080	13384	26768	40152	53536

  • Propiedades RAPIDS de Spark (opcional): De forma predeterminada, Dataproc Serverless establece los siguientes valores de propiedad de Spark RAPIDS:

    • spark.plugins=com.nvidia.spark.SQLPlugin
    • spark.executor.resource.gpu.amount=1
    • spark.task.resource.gpu.amount=1/$spark_executor_cores
    • spark.shuffle.manager=''. De forma predeterminada, esta propiedad no está configurada. Sin embargo, NVIDIA recomienda activar el administrador de Shuffle de RAPIDS cuando uses GPU para mejorar el rendimiento. Para ello, configura spark.shuffle.manager=com.nvidia.spark.rapids.RapidsShuffleManager cuando envíes una carga de trabajo.

    Consulta Acelerador RAPIDS para la configuración de Apache Spark para establecer las propiedades RAPIDS de Spark y Acelerador RAPIDS para la configuración avanzada de Apache Spark para establecer las propiedades avanzadas de Spark.