Usar GPUs con Google Cloud Serverless para Apache Spark

Puedes conectar aceleradores de GPU a tus cargas de trabajo por lotes de Google Cloud Serverless para Apache Spark para conseguir lo siguiente:

• Acelera el procesamiento de cargas de trabajo de analíticas de datos a gran escala.

• Acelera el entrenamiento de modelos en conjuntos de datos grandes con bibliotecas de aprendizaje automático de GPU.

• Realizar análisis de datos avanzados, como el procesamiento de vídeo o del lenguaje natural.

Todos los runtimes de Spark compatibles con Serverless para Apache Spark añaden la biblioteca Spark RAPIDS a cada nodo de carga de trabajo. La versión 1.1 del tiempo de ejecución de Spark de Serverless para Apache Spark también añade la biblioteca XGBoost a los nodos de carga de trabajo. Estas bibliotecas proporcionan potentes herramientas de transformación de datos y aprendizaje automático que puedes usar en tus cargas de trabajo aceleradas por GPU.

Ventajas de las GPUs

Estas son algunas de las ventajas de usar GPUs con tus cargas de trabajo de Spark de Serverless para Apache Spark:

• Mejora del rendimiento: la aceleración por GPU puede aumentar significativamente el rendimiento de las cargas de trabajo de Spark, sobre todo en tareas que requieren muchos recursos computacionales, como el aprendizaje automático y profundo, el procesamiento de gráficos y las analíticas complejas.

• Entrenamiento de modelos más rápido: en las tareas de aprendizaje automático, la conexión de GPUs puede reducir drásticamente el tiempo necesario para entrenar modelos, lo que permite a los científicos de datos y a los ingenieros iterar y experimentar rápidamente.

• Escalabilidad: los clientes pueden añadir más nodos de GPU o GPUs más potentes a los nodos para gestionar necesidades de procesamiento cada vez más complejas.

• Rentabilidad: aunque las GPUs requieren una inversión inicial, puedes ahorrar costes a lo largo del tiempo gracias a la reducción de los tiempos de procesamiento y a un uso más eficiente de los recursos.

• Analíticas de datos mejoradas: la aceleración por GPU te permite realizar analíticas avanzadas, como análisis de imágenes y vídeos, y procesamiento del lenguaje natural, en grandes conjuntos de datos.

• Productos mejorados: el procesamiento más rápido permite tomar decisiones más rápido y crear aplicaciones con mayor capacidad de respuesta.

Limitaciones y consideraciones

• Puedes conectar GPUs NVIDIA A100 o NVIDIA L4 a cargas de trabajo por lotes de Google Cloud Serverless para Apache Spark. Los aceleradores A100 y L4 están sujetos a la disponibilidad regional de las GPUs de Compute Engine.

• La biblioteca XGBoost solo se proporciona a las cargas de trabajo aceleradas por GPU de Serverless para Apache Spark cuando se usa la versión 1.x del tiempo de ejecución de Spark.

• Los procesos por lotes acelerados por GPU de Serverless para Apache Spark con XGBoost utilizan cuotas de Compute Engine aumentadas. Por ejemplo, para ejecutar una carga de trabajo por lotes sin servidor que use una GPU NVIDIA L4, debes asignar la cuota de GPUs NVIDIA L4.

• Los trabajos habilitados para acelerador no son compatibles con la política de la organización constraints/compute.requireShieldedVm. Si tu organización aplica esta política, los trabajos que tengan habilitada la aceleración no se ejecutarán correctamente.

• Debes definir el conjunto de caracteres predeterminado en UTF-8 cuando utilices la aceleración por GPU de RAPIDS con runtimes de Serverless para Apache Spark compatibles anteriores a la versión 2.2. Para obtener más información, consulta el artículo sobre cómo crear una carga de trabajo por lotes sin servidor con aceleradores de GPU.

Precios

Consulta la página de precios de Serverless para Apache Spark para obtener información sobre los precios de los aceleradores.

Antes de empezar

Antes de crear una carga de trabajo por lotes sin servidor con aceleradores de GPU conectados, haz lo siguiente:

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc, Compute Engine, and Cloud Storage APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Install the Google Cloud CLI.

Si utilizas un proveedor de identidades (IdP) externo, primero debes iniciar sesión en la CLI de gcloud con tu identidad federada.

Para inicializar gcloud CLI, ejecuta el siguiente comando:

gcloud init

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc, Compute Engine, and Cloud Storage APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Install the Google Cloud CLI.

Si utilizas un proveedor de identidades (IdP) externo, primero debes iniciar sesión en la CLI de gcloud con tu identidad federada.

Para inicializar gcloud CLI, ejecuta el siguiente comando:

gcloud init

1. In the Google Cloud console, go to the Cloud Storage Buckets page.

   Go to Buckets

2. Click Create.
3. On the Create a bucket page, enter your bucket information. To go to the next step, click Continue.
   1. In the Get started section, do the following:
      • Enter a globally unique name that meets the bucket naming requirements.
      • To add a bucket label, expand the Labels section (), click Add label, and specify a key and a value for your label.
   2. In the Choose where to store your data section, do the following:
      1. Select a Location type.
      2. Choose a location where your bucket's data is permanently stored from the Location type drop-down menu.
         • If you select the dual-region location type, you can also choose to enable turbo replication by using the relevant checkbox.
      3. To set up cross-bucket replication, select Add cross-bucket replication via Storage Transfer Service and follow these steps:

         Set up cross-bucket replication

         1. In the Bucket menu, select a bucket.

         2. In the Replication settings section, click Configure to configure settings for the replication job.

            The Configure cross-bucket replication pane appears.

            • To filter objects to replicate by object name prefix, enter a prefix that you want to include or exclude objects from, then click Add a prefix.
            • To set a storage class for the replicated objects, select a storage class from the Storage class menu. If you skip this step, the replicated objects will use the destination bucket's storage class by default.
            • Click Done.
   3. In the Choose how to store your data section, do the following:
      1. Select a default storage class for the bucket or Autoclass for automatic storage class management of your bucket's data.
      2. To enable hierarchical namespace, in the Optimize storage for data-intensive workloads section, select Enable hierarchical namespace on this bucket.
         Note: You cannot enable hierarchical namespace in existing buckets.
   4. In the Choose how to control access to objects section, select whether or not your bucket enforces public access prevention, and select an access control method for your bucket's objects.
      Note: You cannot change the Prevent public access setting if this setting is enforced at an organization policy.
   5. In the Choose how to protect object data section, do the following:
      • Select any of the options under Data protection that you want to set for your bucket.
        • To enable soft delete, click the Soft delete policy (For data recovery) checkbox, and specify the number of days you want to retain objects after deletion.
        • To set Object Versioning, click the Object versioning (For version control) checkbox, and specify the maximum number of versions per object and the number of days after which the noncurrent versions expire.
        • To enable the retention policy on objects and buckets, click the Retention (For compliance) checkbox, and then do the following:
          • To enable Object Retention Lock, click the Enable object retention checkbox.
          • To enable Bucket Lock, click the Set bucket retention policy checkbox, and choose a unit of time and a length of time for your retention period.
      • To choose how your object data will be encrypted, expand the Data encryption section (), and select a Data encryption method.
4. Click Create.

Crear una carga de trabajo por lotes sin servidor con aceleradores de GPU

Envía una carga de trabajo por lotes de Serverless para Apache Spark que use GPUs NVIDIA L4 para ejecutar una tarea de PySpark paralelizada. Sigue estos pasos con gcloud CLI:

1. Haz clic en Despliega y, a continuación, crea y guarda el código de PySpark que aparece en un archivo test-py-spark-gpu.py en tu máquina local con un editor de texto o de código.

   Despliégame Contráeme

   #!/usr/bin/env python
   
   """S8s Accelerators Example."""
   
   import subprocess
   from typing import Any
   from pyspark.sql import SparkSession
   from pyspark.sql.functions import col
   from pyspark.sql.types import IntegerType
   from pyspark.sql.types import StructField
   from pyspark.sql.types import StructType
   
   spark = SparkSession.builder.appName("joindemo").getOrCreate()
   
   
   def get_num_gpus(_: Any) -> int:
     """Returns the number of GPUs."""
     p_nvidia_smi = subprocess.Popen(
         ["nvidia-smi", "-L"], stdin=None, stdout=subprocess.PIPE
     )
     p_wc = subprocess.Popen(
         ["wc", "-l"],
         stdin=p_nvidia_smi.stdout,
         stdout=subprocess.PIPE,
         stderr=subprocess.PIPE,
         universal_newlines=True,
     )
     [out, _] = p_wc.communicate()
     return int(out)
   
   
   num_workers = 5
   result = (
       spark.sparkContext.range(0, num_workers, 1, num_workers)
       .map(get_num_gpus)
       .collect()
   )
   num_gpus = sum(result)
   print(f"Total accelerators: {num_gpus}")
   
   # Run the join example
   schema = StructType([StructField("value", IntegerType(), True)])
   df = (
       spark.sparkContext.parallelize(range(1, 10000001), 6)
       .map(lambda x: (x,))
       .toDF(schema)
   )
   df2 = (
       spark.sparkContext.parallelize(range(1, 10000001), 6)
       .map(lambda x: (x,))
       .toDF(schema)
   )
   joined_df = (
       df.select(col("value").alias("a"))
       .join(df2.select(col("value").alias("b")), col("a") == col("b"))
       .explain()
   )

2. Usa la CLI de gcloud en tu máquina local para enviar la tarea por lotes sin servidor de Serverless para Apache Spark con cinco trabajadores, cada uno de ellos acelerado con GPUs L4:

   gcloud dataproc batches submit pyspark test-py-spark-gpu.py \
       --project=PROJECT_ID \
       --region=REGION \
       --deps-bucket=BUCKET_NAME \
       --version=1.1 \
       --properties=spark.dataproc.executor.compute.tier=premium,spark.dataproc.executor.disk.tier=premium,spark.dataproc.executor.resource.accelerator.type=l4,spark.executor.instances=5,spark.dataproc.driverEnv.LANG=C.UTF-8,spark.executorEnv.LANG=C.UTF-8,spark.shuffle.manager=com.nvidia.spark.rapids.RapidsShuffleManager
   

Notas:

• PROJECT_ID: tu ID de proyecto Google Cloud .
• REGION: una región de Compute Engine disponible para ejecutar la carga de trabajo.
• BUCKET_NAME: nombre del segmento de Cloud Storage. Spark sube las dependencias de la carga de trabajo a una carpeta /dependencies de este bucket antes de ejecutar la carga de trabajo por lotes.
• --version: todos los runtimes compatibles Google Cloud de Serverless para Apache Spark añaden la biblioteca RAPIDS a cada nodo de una carga de trabajo acelerada por GPU. Solo la versión 1.1 del tiempo de ejecución añade la biblioteca XGBoost a cada nodo de una carga de trabajo acelerada por GPU.

• --properties (consulta Propiedades de asignación de recursos de Spark) :

  • spark.dataproc.driverEnv.LANG=C.UTF-8 y spark.executorEnv.LANG=C.UTF-8 (obligatorias en versiones de tiempo de ejecución anteriores a 2.2): estas propiedades definen el conjunto de caracteres predeterminado en C.UTF-8.

  • spark.dataproc.executor.compute.tier=premium (obligatorio): Las cargas de trabajo aceleradas por GPU se facturan mediante unidades de computación de datos (DCUs) premium. Consulta los precios de los aceleradores de Serverless para Apache Spark.

  • spark.dataproc.executor.disk.tier=premium (obligatorio): los nodos con aceleradores A100-40, A100-80 o L4 deben usar el nivel de disco premium.

  • spark.dataproc.executor.resource.accelerator.type=l4 (obligatorio): solo se debe especificar un tipo de GPU. En el ejemplo de tarea se selecciona la GPU L4. Se pueden especificar los siguientes tipos de aceleradores con los siguientes nombres de argumentos:

    Tipo de GPU	Nombre del argumento
    A100 40 GB	a100-40
    A100 80 GB	a100-80

  • spark.executor.instances=5 (obligatorio): debe haber al menos dos. En este ejemplo, se ha definido como cinco.

  • spark.executor.cores (opcional): puedes definir esta propiedad para especificar el número de vCPUs principales. Los valores válidos para las GPUs L4 son 4 (el valor predeterminado), 8, 12, 16, 24, 48 o 96. El único valor válido y predeterminado para las GPU A100 es 12. Las configuraciones con GPUs L4 y 24, 48 o 96 núcleos tienen 2, 4 o 8 GPUs conectadas a cada ejecutor. El resto de las configuraciones tienen 1 GPU conectadas.

  • spark.dataproc.executor.disk.size (obligatorio): las GPUs L4 tienen un tamaño de disco fijo de 375 GB, excepto en las configuraciones con 24, 48 o 96 núcleos, que tienen 750, 1,500 o 3,000 GB, respectivamente. Si asignas a esta propiedad un valor diferente al enviar una carga de trabajo acelerada por L4, se producirá un error. Si seleccionas una GPU A100 40 o A100 80, los tamaños válidos son 375 g, 750 g, 1500 g, 3000 g, 6000 g y 9000 g.

  • spark.executor.memory (opcional) y spark.executor.memoryOverhead (opcional): puedes definir una de estas propiedades, pero no ambas. La cantidad de memoria disponible que no consume la propiedad definida se aplica a la propiedad no definida. De forma predeterminada, spark.executor.memoryOverhead se establece en el 40% de la memoria disponible para las cargas de trabajo por lotes de PySpark y en el 10% para otras cargas de trabajo (consulta las propiedades de asignación de recursos de Spark).

    En la siguiente tabla se muestra la cantidad máxima de memoria que se puede definir para las diferentes configuraciones de GPU A100 y L4. El valor mínimo de cualquiera de las propiedades es 1024 MB.

    	A100 (40 GB)	A100 (80 GB)	L4 (4 núcleos)	L4 (8 núcleos)	L4 (12 núcleos)	L4 (16 núcleos)	L4 (24 núcleos)	L4 (48 núcleos)	L4 (96 núcleos)
    Memoria total máxima (MB)	78040	165080	13384	26768	40152	53536	113072	160608	321216

  • Propiedades de Spark RAPIDS (opcional): de forma predeterminada, Serverless para Apache Spark define los siguientes valores de propiedad de Spark RAPIDS:

    • spark.plugins=com.nvidia.spark.SQLPlugin
    • spark.executor.resource.gpu.amount=1
    • spark.task.resource.gpu.amount=1/$spark_executor_cores
    • spark.shuffle.manager=''. De forma predeterminada, esta propiedad no está definida. NVIDIA recomienda activar el gestor de aleatorización de RAPIDS cuando se usan GPUs para mejorar el rendimiento. Para ello, define spark.shuffle.manager=com.nvidia.spark.rapids.RapidsShuffleManager cuando envíes una carga de trabajo.
    • spark.rapids.sql.concurrentGpuTasks= mínimo de (gpuMemoryinMB / 8, 4)
    • spark.rapids.shuffle.multiThreaded.writer.threads= mínimo de (núcleos de CPU de la VM/número de GPUs por VM, 32)
    • spark.rapids.shuffle.multiThreaded.reader.threads= mínimo de (núcleos de CPU de la VM/número de GPUs por VM, 32)

    Consulta Configuración de RAPIDS Accelerator para Apache Spark para definir las propiedades de Spark RAPIDS y Configuración avanzada de RAPIDS Accelerator para Apache Spark para definir las propiedades avanzadas de Spark.